Zimmer stammte aus einer Bauernfamilie im Hunsrück, die im Marktort Kastellaun nebenher noch etwas Leineweberei betrieb und es deshalb trotz des beginnenden Niedergangs dieses bäuerlichen Textilhandwerks zu bescheidenem Wohlstand gebracht hatte, um den Sohn auf die im Deutsch-Französischen Krieg 1870–1871 deutsch und kaiserlich gewordene Universität Straßburg schicken zu können. Dort sollte und wollte er Lehrer werden. Er studierte Altphilologie, dazu Indologie (Sanskrit) und Keltologie. An der Universität Tübingen gehörte der bedeutende Indologe Rudolf von Roth zu seinen Lehrern.
Im Jahre 1878 habilitierte sich Zimmer an der Universität Berlin. Im Wintersemester 1878/1879 studierte der junge Ferdinand de Saussure bei ihm. 1881 wurde Zimmer als Professor für Sanskrit und vergleichende Sprachkunde an die Universität Greifswald berufen. 1901 übernahm er an der damaligen Friedrich-Wilhelms-Universität zu Berlin einen Lehrstuhl für keltische Sprachen, den ersten überhaupt in Deutschland. Zu seinen Studenten in Greifswald bzw. Berlin gehörten u. a. die Iren Risteard De Hindeberg (Richard Henebry, 1863–1916)[2] und Osborn Bergin[3].
1910 beging Zimmer Suizid durch Ertrinken, da er an einer unheilbaren Krankheit litt.[5] Er wurde in einem „Stillen Begräbnis“ in Hahnenklee, Harz, beigesetzt.[6] Sein Sohn Heinrich Robert Zimmer wurde ebenfalls Indologe. Nachfolger auf dem Berliner Lehrstuhl wurde 1911 Kuno Meyer. Zimmers bedeutende keltologische Bibliothek wurde nach seinem Tod von der Irischen Nationalbibliothek in Dublin erworben.[7]
Die Nominalsuffixe A und  in den germanischen Sprachen (= Quellen und Forschungen zur Sprach- und Culturgeschichte der germanischen Völker. 13). Trübner, Strassburg 1876, (Digitalisat).
Altindisches Leben. Die Cultur der vedischen Arier. Nach den Saṁhitā dargestellt. Weidmann, Berlin 1879, (Digitalisat).
Glossae Hibernicae e codicibus Wirziburgensi Carolisruhensibus aliis. Weidmann, Berlin 1881, (Digitalisat).
Keltische Studien. Weidmann, Berlin 1881–1884;
Heft 1: Irische Texte mit Wörterbuch. 1881, (Digitalisat);
Heft 2: Über altirische Betonung und Verskunst. 1884, (Digitalisat).
Pelagius in Irland. Texte und Untersuchungen zur patristischen Litteratur. Weidmann, Berlin 1901, (Digitalisat).
Randglossen eines Keltisten zum Schulstreik in Posen-Westpreussen und zur Ostmarkenfrage. Weidmann, Berlin 1907, (Digitalisat).
William Dwight Whitney: Indische Grammatik, umfassend die klassische Sprache und die älteren Dialecte (= Bibliothek indogermanischer Grammatiken. 2, ZDB-ID 501992-8). Aus dem Englischen übersetzt von Heinrich Zimmer. Breitkopf und Härtel, Leipzig 1879, (Digitalisat).
Wilhelm Schulze: Gedächtnisrede auf Heinrich Zimmer. In: Abhandlungen der Königlich Preußischen Akademie der Wissenschaften. Philosophisch-Historische Classe. Jahrgang 1911, getrennte Zählung.
Ernst Windisch: Geschichte der Sanskrit-Philologie und Indischen Altertumskunde. Um ein Namen- und Sachverzeichnis zum III. Teil erweitert, ansonsten unveränderter Nachdruck der Ausgaben von 1917, 1920 und 1921. de Gruyter, Berlin u. a. 1992, ISBN 3-11-013013-0, S. 369–371.
Achim R. Baumgarten: Professor Dr. Heinrich Friedrich Zimmer. In: Achim R. Baumgarten: Hunsrück. 55 historische Persönlichkeiten. Außergewöhnliche Biografien und bewegende Schicksale. Sutton, Tübingen 2024, ISBN 978-3-96303-488-6, S. 116f.
↑Holger Krahnke: Die Mitglieder der Akademie der Wissenschaften zu Göttingen 1751–2001 (= Abhandlungen der Akademie der Wissenschaften zu Göttingen, Philologisch-Historische Klasse. Folge 3, Bd. 246 = Abhandlungen der Akademie der Wissenschaften in Göttingen, Mathematisch-Physikalische Klasse. Folge 3, Bd. 50). Vandenhoeck & Ruprecht, Göttingen 2001, ISBN 3-525-82516-1, S. 267.