Mertz groeide op in een arm gezin, maar ontwikkelde toch zijn talent voor gitaar. In 1840 trok hij naar Wenen en groeide zijn succes. Hij gaf meerdere concerten in Wenen en andere grote Europese steden. In 1846 stierf hij bijna aan een overdosis medicatie tegen zenuwpijn. Tijdens zijn revalidatie speelde zijn vrouw elke dag piano voor hem, sommigen vermoeden dat dit een invloed heeft gehad op de klankkleur en de ongewone rechterhandtechniek van de Bardenklänge Op. 13. Uiteindelijk bezweek Mertz in 1856, aan de leverschade die hij in 1846 had opgelopen aan de te hoge dosering strychnine.