Gillett studerade vid Amherst College och Harvard Law School. Han inledde sin karriär som advokat i Springfield 1877. Före karriären i USA:s representanthus var han ledamot av delstatens lagstiftande församling Massachusetts House of Representantives i två mandatperioder. Han var ledamot av USA:s representanthus 1893-1925, varav de sex sista åren talman och därefter var han ledamot av USA:s senat från Massachusetts 1925-1931.
