Neumann a étudié au Conservatoire de Leipzig de 1928 à 1930 et à l'Université de Leipzig de 1928 à 1933, la musicologie, la philosophie, la psychologie et les études romanes, suivant notamment les cours de Hans Driesch, Walther von Wartburg et Philipp August Becker. Il rédige sa thèse en 1938 sur la fugue chorale de Bach, Johan Sebastian Bachs Chorfuge : Ein Beitrag zur Kompositionstechnik Bachs. Il a travaillé comme enseignant de 1934 à 1940 et a servi dans l'armée pendant cinq ans. De 1945 à 1950, il a travaillé comme professeur indépendant, écrivain sur la musique et professeur au Conservatoire de Leipzig.
Après le Deutsche Bachfeier 1950, le bicentenaire de Bach, il fonde le Bach-Archiv Leipzig pour la documentation et la recherche, qu'il préside jusqu'en 1973, obtenant une reconnaissance internationale.
De 1953 à 1974, Neumann était, avec Alfred Dürr, rédacteur en chef du Bach-Jahrbuch (Annuaire ou Almanach Bach), écrivant lui-même plusieurs contributions. Il a commencé en 1951 à diriger la section est-allemande de la Neue Bach-Ausgabe, la seconde édition complète des œuvres de Bach, tandis que Dürr était le directeur de la section ouest-allemande. Neumann a ajouté plusieurs volumes de cantates au projet.
Neumann a écrit des notes, des articles pour des magazines, des recensions, des essais et des éditions musicales.
Hochzeitskantaten, Weltliche Kantaten, Verschiedener Bestimmung, Leipzig, Deutscher Verlag für Musik, 1970.
Das kleine Bachbuch, 1971 et 1985.
Sämtliche von J. S. Bach vertonte Texte, 1974. (partitions composées par Bach)
Aufgaben und Probleme der heutigen Bachforschung, Berlin, Akademie-Verlag, 1979.
Über das funktionale Wechselverhältnis von Vokalität und Instrumentalität als kompositionstechnisches Grundphänomen : dargestellt am Schaffen Johann Sebastian Bachs, Berlin, Akademie-Verlag, 1982.