Nach seinem Studium begann er seine Bühnenkarriere und hatte sein Broadway-Debüt an der Seite von Shirley Knight in The Watering Place. 1966 spielte Devane Robert F. Kennedy im Off-Broadway-Stück MacBird.
Sein Fernsehdebüt hatte Devane 1967 in der Rolle eines Revolutionärs in der unabhängigen Produktion In the Country. Die Verkörperung John F. Kennedys im Fernsehfilm The Missiles of October, der auf Robert F. Kennedys Buch Thirteen Days basiert und von der Kubakrise handelt, brachte ihm 1974 breite Anerkennung ein. Devane spielte unter anderem in bekannten Spielfilmen wie Alfred HitchcocksFamiliengrab oder in John SchlesingersDer Marathon-Mann mit.
Zudem ist Devane ein gefragter Seriendarsteller. Bekannt wurde er mit der Figur des Greg Sumner in der Fernsehserie Unter der Sonne Kaliforniens, den er zehn Jahre verkörperte. Zudem spielt er oft politische Charaktere. Seit der Episode 7.20 spielt er den US-Präsidenten in der Science-Fiction-Serie Stargate – Kommando SG-1 und deren Ableger Stargate: Continuum und bei 24 (Staffeln 4 bis 6) spielte er den US-Verteidigungsminister und in der gleichen Rolle den US-Präsidenten in deren Fortsetzung 24: Live Another Day, sowie in The West Wing in mehreren Folgen den US-Außenminister.
Devane war mehrfach für den Emmy Award und den Golden Globe nominiert; für die Fernsehserie Unter der Sonne Kaliforniens wurde er mehrfach mit dem Soap Opera Digest Award ausgezeichnet.
Seit 1961 ist er mit Eugenie Devane verheiratet, mit der er zwei Kinder hat.