Nato a Cambridge (Massachusetts), si laureò in arte drammatica presso la Stanford University, dove fu membro della confraternita Beta Theta Pi. Interpretò i suoi primi ruoli quando entrò a far parte del Group Theatre di New York. Successivamente, lui e altri veterani del gruppo teatrale raggiunsero Hollywood, dove Brown lavorò nel cinema durante gli anni quaranta e contribuì a fondare l'Actors' Laboratory Theatre. Nel 1946 interpretò Nick Adams, il protagonista del racconto The Killers di Ernest Hemingway, nella versione diretta da Robert Siodmak e intitolata in italiano I gangsters, al fianco di William Conrad e Charles McGraw nei principali ruoli del titolo.
I suoi trascorsi professionali con il Laboratory compromisero il prosieguo della sua carriera. Alla fine degli anni quaranta alcuni suoi membri finirono nel mirino dell' House Un-American Activities Committee (HUAC). Anche se non era un comunista, Brown entrò nella lista nera nel 1952, e alla fine fu costretto a trasferirsi con la sua famiglia in Inghilterra, dove rimase tra il 1953 e il 1993. In Europa riprese a recitare sul palcoscenico, sul piccolo schermo e al cinema, lavorando anche come regista per il teatro e la TV. Il suo ruolo più noto è probabilmente quello di Owen Lars, lo zio di Luke Skywalker, nel celebre Guerre stellari (1977). Brown morì di polmonite il 9 febbraio 2006, all'età di 89 anni.