Imparò a suonare il violino con suo padre, Gerhard Heinrich Romberg, anch'egli musicista e scrisse le sue prime composizioni a sette anni[1], eseguendole poi in pubblico; in seguito entrò a far parte dell'Orchestra della corte di Münster. Nel 1790 viene accolto nell'orchestra della corte del principe elettore di Bonn[1] (in cui il maestro di cappella era Andrea Luchesi), come il cugino Bernhard Romberg (1767-1841), con il quale si è esibito in tutta Europa tra il 1784 e il 1796. È in questo periodo che incontra il giovane Beethoven[2], con cui formerà un quartetto di cui faranno parte anche Franz Anton Ries, come primo violino e suo cugino come violoncellista.
Nel 1793 si trasferisce ad Amburgo, a causa della guerra, dove si inserirà nell'orchestra dell'Opera. In questo periodo riuscirà a far rappresentare la sua prima opera vocale, il singspiel intitolato Der Rabe (Il Corvo) nel 1794. Qui comporrà anche la sua opera Der Messias (Il Messia).
Nel 1796 parte per Vienna[2], insieme al pittore Karl von Kügelgen e qui incontra Haydn, che si dimostra interessato ai suoi tre quartetti opus 3, scritti poco prima dei quartetti opus 18 di Beethoven.
Dopo un viaggio a Parigi, si installa ad Amburgo, dove diventa un'importante personalità musicale della città[2].
Nel 1815 succede a Louis Spohr nel posto di Hofkapellmeister (maestro di cappella e direttore del coro alla corte del Duca di Gotha[1].
La Sinfonia dei giocattoli venne a lui attribuita, come lo fu a Joseph Haydn e a Leopold Mozart, prima che venisse attribuita al monaco benedettino Edmund Angerer.