Karl Karmarsch stammte aus kleinen Verhältnissen: Er war der Sohn eines Wiener Schneidermeisters, das zweite von zwölf Kindern. Er studierte am Polytechnischen Institut in Wien und war dort 1819 bis 1823 Assistent von Georg Altmütter. 1830 ging er als Hauptlehrer an die gerade gegründete Höhere Gewerbeschule in Hannover und wurde 1831 deren erster Direktor. Der Ausbau der Gewerbeschule zur Polytechnischen Schule (1847) und Technischen Hochschule (1879) ist mit Karmarschs Namen eng verknüpft.
Karmarsch war Hauptlehrer im technologisch-chemischen Fach und vertrat die Lehrgebiete Mechanische Technologie und theoretische Chemie mit Anwendungen auf die Technik (bis 1840) und Bautechnologie (seit 1869). Karmarsch gehörte zu den Begründern der wissenschaftlichen mechanischen Technologie, der es um die Verbindung der exakten Wissenschaften mit ihrer technischen Anwendung geht. Sein Hauptwerk Grundriß der mechanischen Technologie erschien in 1. Auflage 1837.
Nach dem Eintritt in den Ruhestand 1875 auf eigenen Wunsch gründete er die Karmarsch-Stiftung für Stipendien, die 1926 mit anderen Stiftungen zur Karmarsch-Sammelstiftung zusammengelegt wurde. Sein Grab (mit Porträtmedaillon) befindet sich auf dem Stadtfriedhof Engesohde, Abt. 25a, in Hannover.
Der 1879 bis 1898 in Hannover erfolgte Straßen-Durchbruch von der Georgstraße (vom heutigen Kröpcke) zur Friedrichstraße (heute: Friedrichswall) wurde Karmarschstraße benannt und 1894 wurde die Karmarschgasse in Wien-Favoriten nach ihm benannt.
Die Karmarsch-Denkmünze wurde 1925 von der Hochschulgemeinschaft Hannover (heute Leibniz Universitätsgesellschaft Hannover e. V.) gestiftet. Mit ihr werden Persönlichkeiten ausgezeichnet, die Verdienste um die Förderung von Technik und Wirtschaft in wissenschaftlicher Forschung oder in der Förderung der wirtschaftlichen Entwicklung erwarben.
Einleitung in die mechanischen Lehren der Technologie. 2 Bände. Wallishausser, Wien 1825.
Die höhere Gewerbeschule in Hannover. Erläuterungen über Zweck, Einrichtung und Nutzen derselben. Hahn, Hannover 1831.
Die polytechnische Schule zu Hannover. Zweite, sehr erweiterte Auflage mit drei Blättern Abbildungen des Gebäudes der Anstalt. Verlag der Hahnschen Hofbuchhandlung, Hannover 1856; Textarchiv – Internet Archive.
Grundriß der mechanischen Technologie. Als Leitfaden für den technologischen Unterricht an polytechnischen Instituten und Gewerbeschulen. Helwing, Hannover 1837.
2., sehr vermehrte Auflage: Handbuch der mechanischen Technologie. Helwing, Hannover 1851.
5., neu bearbeitete Auflage, herausgegeben von Ernst Hartig. Helwing, Hannover 1875–1876.
6., neubearbeitete u. erweiterte Auflage, bearbeitet von Hermann Fischer. Baumgärtner, Leipzig 1888–1905.
Geschichte der Technologie seit der Mitte des achtzehnten Jahrhunderts. Oldenbourg, München 1872 (reader.digitale-sammlungen.de; Reprint Johnson, New York / Olms, Hildesheim 1965).
mit Friedrich Heeren: Technisches Wörterbuch oder Handbuch der Gewerbkunde in alphabetischer Ordnung. Bearbeitet nach Dr. Andrew Ure's Dictionary of Arts, Manufactures and Mines. 3 Bände. Prag 1843–1844.
2., gänzlich neu bearbeitete Auflage. 3 Bände. Prag 1854–1857.
3., ergänzte überarbeitete (Neu-)Auflage: Friedrich Kick, Wilhelm Gintl: Karmarsch und Heeren’s technisches Wörterbuch. 11 Bände. Verlag der Bohemia, Prag 1876–1892.
Karl Karmarsch. Ein Lebensbild; gezeichnet nach dessen hinterlassenen „Erinnerungen aus meinem Leben“. Mit Ergänzungen von Egbert Hoyer. Helwing, Hannover 1880, 3. Auflage 1903.
Wilhelm Rothert: Allgemeine Hannoversche Biografie, Band 2: Im Alten Königreich Hannover 1814–1866. Sponholtz, Hannover 1914, S. 266–274
Ludwig Meyer: Das Wirken Karl Karmarsch’s im Gewerbe-Verein für Hannover. Eine Ehrung zur 50. Wiederkehr seines Todestages am 28. März 1929. Hannover 1929.
Paul Trommsdorff: Der Lehrkörper der Technischen Hochschule Hannover 1831–1931. Hannover 1931, S. 47–48.
Catalogus professorum 1831–1981 (= Festschrift zum 150jährigen Bestehen der Universität Hannover, Bamd 2). Kohlhammer, Stuttgart 1981, ISBN 3-17-007321-4, S. 136–137.
Bernd Thiele: Karl Karmarsch (1803–1879). In: von Gerhard Banse (u. a.) (Hrsg.): Biographien bedeutender Techniker, Ingenieure und Technikwissenschaftler. Verlag Volk und Wissen, Berlin 1983, S. 142–148.
Hansjürgen Gubrecht, Helmut Gubrecht: Karl Karmarsch. Der erste Direktor der Polytechnischen Schule Hannover. In: Fachbereich Chemie der Universität Hannover (Hrsg.): Die Geschichte der Chemie an der Technischen Hochschule und Universität Hannover. Hannover 1999, S. 16–29.
Catalogus professorum 1831–2006 (= Festschrift zum 175-jährigen Bestehen der Universität Hannover, Band 2). Olms, Hildesheim 2006, ISBN 3-487-13115-3, S. 239.
Wolfhard Weber: Karl Karmarsch (1803–1879). In: Technikgeschichte, Band 76, 2009, Heft 4, S. 311–317.