Sauzay est le fils de Jeanne-Félicité-Julie Paillet, la fille de l'expert Alexandre Joseph Paillet.
En 1824 il entre au Conservatoire de Paris, où il est l'élève de Paul Guérin puis de Pierre Baillot en violon et d'Anton Reicha pour la composition[3]. Il y obtient un premier prix de violon en 1827 ainsi qu'un deuxième prix de fugue et contrepoint[4].
En 1860, il devient professeur de violon au Conservatoire[9] en remplacement de Narcisse Girard, et y enseigne pendant plus de trente ans, lorsqu'en 1892, à sa retraite, Martin-Pierre Marsick prend sa suite. Parmi ses élèves on compte le violoniste Carl Flesch et l'altiste Théophile Laforge.
Il est nommé chevalier dans l'ordre de la Légion d'honneur en 1868[9] et officier d'académie de l'ordre des Palmes académiques en 1878[9], puis officier d'instruction publique en 1889[4].
Haydn, Mozart, Beethoven : étude sur le quatuor, Paris, Librairie de Firmin-Didot, , 182 p. (OCLC1311005, lire en ligne)
L'école de l'accompagnement, ouvrage faisant suite à l'Étude sur le quatuor, Paris, Librairie de Firmin-Didot, 1869[19] (OCLC150583598)
Le Violon harmonique : de ses ressources, fils d'emploi dans les écoles anciennes et modernes. Étude complétée par un cours d'harmonie à l'usage des violonistes, Paris, Librairie Firmin-Didot, , 274 p. (OCLC19536332, lire en ligne)
↑ ab et cFrançois-Joseph Fétis, Biographie universelle des musiciens et bibliographie générale de la musique. [vol. 7], Paris, Firmin-Didot, 1866-1868 (lire en ligne), p. 407
↑ a et bConstant Pierre, Le Conservatoire national de musique et de déclamation : documents historiques et administratifs : recueillis ou reconstitués, Paris, Imprimerie nationale, (lire en ligne), p. 849
↑ ab et cConstant Pierre, Le Conservatoire national de musique et de déclamation : documents historiques et administratifs : recueillis ou reconstitués, Paris, Imprimerie nationale, (lire en ligne), p. 456
↑Revue et gazette musicale de Paris, Paris : Gazette musicale de Paris, (lire en ligne), p. 345