Né à Leipzig, fils d'un avocat qui était un bon musicien amateur et un ami de Mendelssohn[2], Klengel étudie avec Emil Hegar dans sa jeunesse. À l'âge de 15 ans, il devient membre de l'Orchestre du Gewandhaus de Leipzig, où Hegar est premier violoncelle, et commence à faire des tournées en Europe et en Russie. Il joue alors souvent en solo.
Klengel devient premier violoncelle de l'orchestre en 1881 à l'âge de 22 ans[2] et le demeure durant plus de quarante ans. Pendant cette période, Klengel est aussi professeur au conservatoire de Leipzig et commence à composer. Il finit par composer des centaines de morceaux pour le violoncelle, dont quatre concertos pour violoncelle, deux doubles concertos pour violoncelles, des quatuors, une sonate pour violoncelle et nombre de caprices, d'études et d'autres morceaux techniques. Pour célébrer le jubilé de cinquante ans de service de Klengel en 1924, Wilhelm Furtwängler dirige un concert où ce musicien joue la partie du violoncelle dans le double concerto qu'il a composé pour l'occasion. Dans l'œuvre de Klengel, les deux volumes d'études techniques pour violoncelle demeurent au répertoire ; trois concertos pour violoncelle ont été enregistrés en 2001 par Christoph Richter et l'Orchestre philharmonique de la NDR sous la direction de Bjarte Engeset(en).