1815-ben született Szászországban német család sarjaként. Édesapja templomi karmester volt, ő kezdte fiát zongorázni és orgonálni tanítani. Friebeltől pedig csellózni és hegedülni tanult. Tanulmányait a Freiberg Gimnáziumban folytatta, ahol pedagógiát hallgatott, közben zeneszerzést tanult August Ferdinand Anackernél. Később zenei tanulmányokat folytatott Lipcsében, Carl Ferdinand Becker tanítványaként. Itt találkozott Robert Schumann-nal, aki bátorította a fiatal művészt. Ez időben keletkezett művein a Lipcsében karmesterként dolgozó Mendelssohn hatása érződik.
Pályafutását Prágában kezdte énektanárként, majd Szemeréden a gróf Steinlein családnál lett zenemester. 1841-ben költözött Pestre, ahol magán zenetanár lett. 1842 és 1844 között a bécsi Allgemeine Wiener Musikzeitung pesti tudósítója. 1848-ban a Zsinagóga orgonistája és karnagya lett, de 1849-ben felmondott.
Ezt követően szabadúszóként, de folyamatosan zenész és mecénástársaságban tartózkodott. Ekkor leginkább Beethoven hatása érvényesül a művein. Ez idő tájt kötött szoros barátságot Erkel Ferenccel, a Doppler testvérekkel (Ferenccel és Károllyal) és Thern Károllyal. 1850-ben Liszt Ferencnek dedikálta 2. (b-moll) zongoratrióját (Op. 5.), a kompozíció nem csak Liszt, de a kor két, éles kritikáiról ismert zeneszerzőjének, Hans von Bülownak és Wagnernek is elnyerte a tetszését.
1854-ben átmenetileg Bécsbe költözött, ahol a szintén német származású zenei íróval Martin Gustav Nottebohmmal kötött barátságot. 1858-tól 1883-ban bekövetkezett haláláig ismét Pesten élt. Heckenast Gusztáv nyomdász, könyvkiadó, akivel baráti viszonyt tartott fenn, a kedvéért külön zeneműkiadó osztályt létesített, melynek vezetője lett. Többször vendégeskedett mecénása pilismaróti nyaralójában, itt született Maróti szuvenír (Souvenir de Maróth) című zongoradarabja.
Az 1860-ban Széchenyi halálára zongorafantáziát írt (Op. 41.), mely a megjelenés után három nappal már kétezer példányban elkelt, de nyilvános előadását betiltották, mert Egressy Béni Szózatából tartalmaz zenei idézetet. Az 1860-as években több szerzői estet rendezett, ezeken kerültek bemutatásra szimfóniái (1. szimfónia, 1863; 2. szimfónia, 1866) is. Több zenei versenyen vett részt a zsűriben, Liszttel, Erkellel és Mosonyival együtt. 1874-ben kapott egy bécsi konzervatóriumi tanári felkérést, de visszautasította és helyette 1875-től az alakuló Zeneakadémia első tanári karának tanára lett, ahol zeneszerzést tanított, ettől kezdve alig komponált. 1883-ban a berlini Porosz Királyi Akadémia rendes tagjai közé választotta, de még ezen év októberében, Budapesten elhunyt.
Bár soha nem tanult meg igazán jól magyarul, több levelében magyarként említi magát, aminek alapja lehetett a magyarországi egzisztencia, és aktív részvétele a honi zeneéletben. Mint Thern Károlynak írt 1867 január 10-én kelt levelében: „…az Ön párizsi sikerét mi magyarok elégedett mosollyal nyugtáztuk…”. Bár némelyik művében megjelennek a magyaros elemek, mindvégig tudatosan a német romantika stílusát követte.
A Budai Vigadó (I. kerület, Corvin tér) homlokzatán márványtábla őrzi emlékét, kortársaival és barátaival (Erkel Ferenccel, Liszt Ferenccel, Doppler Ferenccel és Egressy Bénivel) együtt.
Pasaréten (II. kerület) 1912 óta utca viseli a nevét, mely a Szilágyi Erzsébet fasor 65-től a Pasaréti út 72-ig húzódik. Az utcát korábban Testőr utcának hívták.
Unokaöccse, a zenetörténész Hans Volkmann dolgozta fel életművét és készítette el műveinek jegyzékét.[1]
Dombormű a Zeneakadémia Liszt Ferenc téri épülete homlokzatán