Im Jahre 1960 wurde Rauhe Assistent, 1963 Dozent der Universität Hamburg und seit 1965 ist er Professor für Musikwissenschaft und Musikpädagogik an der Hochschule für Musik Hamburg. 1970 kam er zurück auf die Universität Hamburg als Ordinarius für Erziehungswissenschaft mit Schwerpunkt Musikpädagogik. Von 1978 bis 2004 war Rauhe Präsident der Hochschule für Musik und Theater Hamburg, von 1980 bis 1982 zudem auch Vorsitzender der Rektorenkonferenz der Musikhochschulen der Bundesrepublik Deutschland. 1981 rief Rauhe den Modellversuch Popularmusik (Kompaktkurssystems mit betreuten Praktika im Bereich der Popularmusik) ins Leben, dessen Leiter er bis 1984 blieb.
Hermann Rauhe bemühte sich besonders um die Entwicklung neuer Methoden der musiktherapeutischen Wirkungsforschung, so etwa durch gezielten Einsatz von Musik in der neurologischen Rehabilitation von Schlaganfall- und Parkinson-Patienten im Allgemeinen Krankenhaus Hamburg-Harburg (zusammen mit dem Neurologen Robert-Charles Behrend). Aus diesem Grund arbeitet Rauhe in der Deutschen Gesellschaft für Präventivmedizin und Präventionsmanagement e. V. mit. Zusammen mit deren Präsidenten Gerd Schnack hat Rauhe eine besondere Methode der Stressreduktion entwickelt, das sogenannte repetitive Meditationstraining.[1]
Daneben arbeitete er in der Berufsfeldforschung und -entwicklung ("Musikberufe im Wandel").
Dichtung und Musik im weltlichen Vokalwerk Johann Hermann Scheins. Stilistische und kompositionstechnische Untersuchungen zum Wort-Ton-Verhältnis im Lichte der rhetorisch ausgerichteten Sprach- und Musiktheorie des 17. Jahrhunderts. Hamburg 1959.
Popularität in der Musik. Interdisziplinäre Aspekte musikalischen Kommunikation. Verlag Braun, Karlsruhe 1974, ISBN 3-7650-7463-2.
mit Hans-Peter Reinecke und Wilfried Ribke: Hören und Verstehen. Theorie und Praxis handlungsorientierten Unterrichts. Kösel-Verlag, München 1975, ISBN 3-466-30136-X.