Erben begann seine Ausbildung am Gymnasium in Königgrätz und setzte sie mit einem Studium der Philosophie und später der Rechtswissenschaften an der Prager Karlsuniversität fort. Er wurde 1837 Praktikant am Kriminalgericht des Prager Magistrates und erhielt ein Jahr später eine Anstellung beim Finanzamt in Prag. 1842 heiratete er in Zdice die aus Žebrák stammende Betyna Mečířová (1818–1857) und wurde 1843 Mitarbeiter von František Palacký am Prager Nationalmuseum. Dort übernahm er als Archivar die Aufgabe, Schriften in den Archiven von Tábor und Domažlice zu katalogisieren, auch in der Hoffnung, dass einige der dortigen Urkunden dem Nationalmuseum übergeben werden.
1848 war Karel Jaromír Erben kurzfristig Redakteur der Tageszeitung Pražské noviny, gab diese Tätigkeit nach der Veröffentlichung der Verfassung des Jahres 1848 wieder auf und wurde 1850 für ein Jahr Sekretär und Archivar des Böhmischen Landesmuseums in Prag. Von 1851 bis 1870 städtischer Archivar in Prag, ordnete er die Bestände dieses Archivs und widmete sich seinen umfangreichen volkskundlichen Sammlungen und deren Veröffentlichung. Er ist begraben auf dem Olšany-Friedhof in Prag.
Slovanská čítanka (Slawisches Lesebuch), beinhaltet über einhundert Volksgeschichten und Sagen in der Muttersprache des Erzählenden.
Kytice z pověstí národních (Blumenstrauß nationaler Sagen), eine Sammlung alter böhmischer Sagen, 1853. Erschien in Auswahl in den Lesebüchern der Volks- und Bürgerschulen. Erben interessierten bei der Auswahl und Interpretation der Märchen und Sagen die zwischenmenschlichen Beziehungen, vor allem zwischen Mann und Frau, aber auch der Umgang mit Schuld und Sühne bei der Verletzung der von ihm vertretenen Ansprüche bei Grundbeziehungen und Grundrechten im Zusammenleben der Menschen. Vergehen wurden seiner Ansicht nach oft zu hart vom Schicksal und den Menschen bestraft, die wiederum ohnmächtig gegenüber den auf sie wirkenden Naturkräften waren.
Prostonárodní české písně a říkadla (Volkstümliche böhmische Lieder und Abzählreime), ein fünfteiliges, stark romantisch beeinflusstes Werk mit beachtlichem Verkaufserfolg, 1864.
Neben dem Sammeln der Folklorekunst versuchte Karl Jaromir Erben auch deren kritische Betrachtung und Beeinflussung im Sinne seiner Weltanschauung.
Erben schrieb zahlreiche Bücher über die Geschichte Böhmens und Prags. Ein bedeutendes, bekanntes Werk ist:
Regesta diplomatica nec non epistolaria Bohemiae ac Moraviae (Urkunden- und Brief-Regesten Böhmens und Mährens), Kurzfassungen alter Urkunden seit dem Jahr 1253, dem Todesjahr des Königs Václav I. im Jahr 1253.
Der Blumenstrauß. Illustriert von Rut Kohn, mit einem Nachwort von Pavel Kohn. (Originaltitel: Kytice übersetzt von Eduard Albert und Marie Kwaysser), Stutz, Passau 2011, ISBN 978-3-88849-152-8.
Ein Blumenstrauss mit tschechischer Poesie in deutschen Versen (übersetzt von Georg Ehrfried Chalupa). Grippo, Oberursel 2011, ISBN 978-3-942187-02-2.
Karel Jaromír Erben, Božena Němcová: Tschechische Märchen. Eine Auswahl der schönsten Volksmärchen. Übersetzt von Alfred Waldau, illustriert von Karel Hruška. Vitalis, Furth im Wald 2005, ISBN 3-89919-067-X.
Karel Jaromír Erben, Božena Němcová: Tschechische Märchen. Illustriert von Lucie Müllerová, Neuauflage, Vitalis, Mitterfels 2009, ISBN 978-3-89919-062-5.
Chodische Märchen (Originaltitel: Chodske pohádky), Prag 1940 (Märchensammlung der Choden).
Der Lange, der Dickbäuchige und der Scharfäugige. Illustriert von K. Pacovská, dem Märchen von Karel Jaromír Erben nacherzählt von Vladimíra Frýbová, übersetzt von Jan Vápenik, Artia, Prag 1979.
Prinzessin Goldhaar und andere Märchen. Herausgeber Artus Scheiner, Albatros, Prag 1981.
Listen Kids. Czech Fairy Tales from Karel Jaromir Erben (Author), Otakar Jelinek (Illustrator), Julius Kaluvky (Translator).
Antonín Dvořák vertonte Erbens Ballade Svatební Košile als Kantate Die Geisterbraut für Soli, Chor und Orchester op. 69 (1884). Außerdem vertonte er Balladen aus der Sammlung von Erben in seinen Sinfonischen DichtungenDer Wassermann op. 107, Die Mittagshexe op. 108, Das goldene Spinnrad op. 109 und Die Waldtaube op. 110.
Zdeněk Fibich vertonte den Wassermann aus der Sammlung Kytice als sein Opus 15 in Form eines Melodrams.
↑Karel Jaromír Erben und Božena Němcová: Märchen; illustriert von Josef Lada, übersetzt von Günther Jarosch und Valtr Kraus. Albatros-Verlag, Prag 2001; ISBN 80-00-00930-7
↑Karel Jaromír Erben: Prinzessin Goldhaar und andere tschechische Märchen, illustriert von Artuš Scheiner, übersetzt von Günther Jarosch. Albatros-Verlag, Prag 1981