I suoi lavori matematici includono il calcolo della lunghezza della parabola e della cicloide e la quadratura dell'iperbole, che richiede l'approssimazione della funzione logaritmica per mezzo di serie infinite. Fu il primo europeo a risolvere quella che è oggi nota come equazione di Pell.[1]
Fu il primo inglese ad interessarsi alle frazioni continue.[1] Proseguendo il lavoro di John Wallis sviluppò la prima frazione continua generalizzata per il calcolo di pi greco.
^John Wallis, Arithmetica Infinitorum, ... (Oxford, Inghilterra: Leon Lichfield, 1656), pag. 182. Brouncker esprimeva con una frazione continua il rapporto tra l'area di un cerchio e l'area del quadrato circoscritto (che è, 4/π). La frazione continua appare in cima alla pagina 182 (circa) come: ☐ = 1 1/2 9/2 25/2 49/2 81/2 ... , dove il quadrato indica il rapporto cercato. (Nota: nella pagina precedente, Wallis chiama Brouncker: "Dom. Guliel. Vicecon, & Barone Brouncher" (Lord William Viscount e Barone Brouncker).