Horsey studerade juridik och inledde 1807 sin karriär som advokat. Han var delstatens justitieminister (Delaware Attorney General) 1806-1810. Senator Samuel White avled i ämbetet och efterträddes av Horsey. Han omvaldes 1815 och efterträddes som senator av Caesar A. Rodney.
Horseys grav finns på Saint Johns Roman Catholic Cemetery i Frederick.
