Der Sohn eines Eisenbahnangestellten studierte ab 1899 Jura an der Prager Karls-Universität und von 1901 bis 1904 Komposition bei Antonín Dvořák sowie Orgel bei Josef Klička am Prager Konservatorium. 1914 reiste er nach Russland, wo er nach Ausbruch des Ersten Weltkriegs der Spionage verdächtigt und verhaftet wurde. Er konnte aus der Gefangenschaft ausbrechen und schloss sich in der Folge im Kampf um die Unabhängigkeit Tschechiens von Österreich-Ungarn 1918 den Tschechoslowakischen Legionen an, bei denen er u. a. als Orchesterleiter tätig war. Nach seiner Rückkehr wurde er Lehrer und ab 1923 Professor am Prager Konservatorium. Zu dieser Zeit heiratete er in zweiter Ehe die Sängerin Olga Kuncová; 1924 wurde die Tochter Zorka, 1926 der Sohn Ivan geboren. Nach der Zerschlagung der Tschechoslowakei und der 1939 erfolgten Errichtung des unter nationalsozialistischer deutscher Herrschaft stehenden Protektorats Böhmen und Mähren beteiligte Karel sich am Widerstand gegen den Nationalsozialismus und wurde am 19. März 1943 verhaftet. Er wurde zwei Jahre lang im Gefängnis Pankrác verhört und gefoltert, ehe er am 7. Februar 1945 in das KZ Theresienstadt überstellt wurde. Stark geschwächt, an Dysenterie (Ruhr) leidend sowie infolge Misshandlung durch den SS-Aufseher Stefan Rojko verstarb Rudolf Karel in der Nacht vom 5. auf den 6. März 1945 in einer Lazarettzelle.
Sowohl in Pankrác als auch in Theresienstadt war Karel intensiv bemüht, seine kompositorische Arbeit fortzusetzen. Textentwürfe und Partiturskizzen notierte er auf Toilettenpapier, das Freunde regelmäßig aus dem Gefängnis schmuggelten, sodass die Musik für die Nachwelt erhalten blieb. Kleine Stücke, die unmittelbar auf die Gegebenheiten Bezug nahmen, waren etwa Pancrácký pochod (Pankrácer Marsch), Pancrácká polka (Pancrácer Polka) und Pankrácký valcík (Pankrácer Walzer). Das wichtigste Werk dieser Zeit ist jedoch die Oper Tři vlasy děda Vševěda (Drei Haare des Großvaters Allwissend), die später von seinem Schüler Zbyněk Vostřák vollendet werden konnte. Sie hatte ihre Premiere 1948 in Prag. Das letzte Stück ist das Nonett op. 43, zu dem Karel im Januar und Februar 1945 drei von vermutlich vier geplanten Sätzen skizzierte. Sie wurden nach seinem Tod von František Hertl fertiggestellt und gelangten am 21. Dezember 1945 zur Uraufführung. In den 1980er-Jahren erstellte der Geiger des Tschechischen Nonetts, Václav Snítil, eine Neubearbeitung. Es ist Karels mit Abstand meistgespieltes Stück. 1998 verlieh der tschechische Staatspräsident Václav Havel Rudolf Karel posthum den „Řád Tomáše Garrígua Masaryka III. třidy“ (Tomáš-Garrigue-Masaryk-Orden dritter Klasse) für „hervorragende Verdienste um die Demokratie und die Freiheit des Volkes“.
Jiří Bajer: Rudolf Karel (9·11·1880 – 6·3·1945). In: Hudební věda 4, 1967, ISSN0018-7003, S. 299–303.
Joža Karas: Music in Terezín 1941–1945. Pendragon Press, Stuyvesant NY 1990, ISBN 0-918728-34-7.
Milan Kuna: Das Schicksal Rudolf Karels. In: Musik an der Grenze des Lebens. Musikerinnen und Musiker aus böhmischen Ländern in nationalsozialistischen Konzentrationslagern und Gefängnissen. Zweitausendeins, Frankfurt am Main 1993, ISBN 3-86150-018-3, S.335–344.
Otakar Šourek: Kdo je Rudolf Karel. Orbis, Prag 1946.
Otakar Šourek: Rudolf Karel. Variace v živote i díle. Hudební Matice Umělecké besedy, Prag 1947.
Kay Weniger: Zwischen Bühne und Baracke. Lexikon der verfolgten Theater-, Film- und Musikkünstler 1933 bis 1945. Mit einem Geleitwort von Paul Spiegel. Metropol, Berlin 2008, ISBN 978-3-938690-10-9, S. 395.