Son œuvre la plus connue est la création des cariatides de la fontaine Wallace éditée par la fonderie d'art du Val d'Osne en 1872. Cinq de ces fontaines sont à Nantes[3], une centaine à Paris et de nombreuses autres dispersées de par le monde.
Malgré tout, Lebourg n'obtient pas une notoriété suffisante et meurt dans la misère, à Paris, en 1906. Il est inhumé au cimetière parisien de Saint-Ouen (division 32, 1/74)[4].
Monument au docteur Écorchard, 1893, buste en bronze, envoyé à la fonte sous le régime de Vichy, dans le cadre de la mobilisation des métaux non ferreux[6] ;
musée d'Arts : La Prêtresse d'Euleusis, 1874, statue en marbre.
place Delorme : Monument au docteur Guépin, 1893, statue en bronze, envoyée à la fonte sous le régime de Vichy, dans le cadre de la mobilisation des métaux non ferreux[7].
place Eugène-Livet : Monument à Eugène Livet, 1933, buste en bronze, envoyée à la fonte sous le régime de Vichy, dans le cadre de la mobilisation des métaux non ferreux. Un buste en pierre par Charles Eugène Breton d'après un moulage de l'œuvre de Lebourg le remplace en 1946[9].