Converse studerade juridik och inledde 1826 sin karriär som advokat i Vermont. Åren 1844–1847 tjänstgjorde han som åklagare i Windsor County. Han var viceguvernör under Charles K. Williams 1850–1852. Whig-partiet kom sedan i en nedgångsperiod och försvann så småningom från den politiska scenen.
Converse gjorde comeback som republikan och vann guvernörsvalet 1872 som partiets kandidat. Efter en mandatperiod som guvernör drog han sig tillbaka till privatlivet. Converse avled år 1885 i New Hampshire och gravsattes på River Street Cemetery i Woodstock, Vermont.
