Son grand-père était capitaine du génie dans l'armée de la République française et son père, directeur des contributions en Belgique. Il a épousé Cécile Engler (1832-1911).
Il a été ministre de la Guerre de 1870 à 1873
À la fin de sa carrière, en 1873, il est anobli à titre héréditaire avec le titre de baron et prend comme devise Labore nobilis : « Noble de par son travail ».
Général Charles Rouen, L’Armée belge. Exposé historique de son organisation, de ses costumes et uniformes, de son armement et de sa tactique depuis les temps primitifs jusqu’à nos jours, Bruxelles, Lyon-Claesen, 1896.
A. Duchesne, "Henri-Louis-Gustave baron Guillaume", in: Biographie nationale de Belgique, T. XXXVIII, Brussel, 1973, col. 289-299