Hrušínský gehörte fast dreißig Jahre lang zum Ensemble des tschechischen Nationaltheaters. International bekannt wurde er 1956 durch seine Rolle des braven Soldaten Schwejk nach dem Roman von Jaroslav Hašek, den er 1956 und 1957 in zwei Spielfilmen verkörperte. 1968 spielte er die Hauptrolle im Film Lerchen am Faden, der bei der Berlinale mit dem Goldenen Bären ausgezeichnet wurde. Weitere bekannte Filme mit ihm sind Der Zirkus spielt doch (1954), Mord auf heimische Art (1967), Der Leichenverbrenner (1969) von Juraj Herz, wo er einen vom Tod faszinierten Krematoriumsangestellten in der Nazizeit darstellt, Adele hat noch nicht zu Abend gegessen (1977) und Unternehmen Kugelblitz (anderer Titel: Aktion Kugelblitz) (1978), hier spielt er einen Rechtsanwalt, der einen Ringtausch von Wohnungen organisiert. In Heimat, süße Heimat (1986) von Jiří Menzel trat er gemeinsam mit seinem Sohn Rudolf Hrušínský junior und seinem Enkel Rudolf Hrušínský der jüngste auf, der Film wurde für einen Oscar nominiert. Auch Die Volksschule (1991) von Jan Svěrák erhielt eine Oscarnominierung, hier verkörperte Hrušínský als Schuldirektor eine seiner letzten Rollen.
1968 erhielt Hrušínský nach Unterzeichnung einer Bürgerrechtsinitiative für sieben Jahre Auftrittsverbot.
1989 setzte er sich für eine gewaltfreie Wende in der Politik ein. Kurze Zeit später wurde er zum Abgeordneten des Parlaments der ČSFR gewählt, dem er bis 1992 angehörte.
Der Vater von Rudolf Hrušínský, Rudolf Hrušínský der älteste (1897–1956), geboren als Rudolf Böhm in Liboc, war ebenfalls ein bekannter tschechischer Schauspieler, seit 1935 trat er unter dem Künstlernamen Rudolf Hrušínský auf.
Nach Billigung der Beneš-Dekrete durch die Nationalversammlung 1946 änderte die Familie ihren Namen auch offiziell von Böhm in Hrušínský, um der Ausweisung aus der böhmischen Heimat zu entgehen.
Seine beiden Söhne Rudolf (* 1946) und Jan (* 1955) sowie sein Enkel Rudolf (* 1970) und seine Enkelin Kristýná (* 1985) wurden gleichfalls Schauspieler.