Di origini ebree, prima di calcare il palcoscenico combatté come aviatore durante la seconda guerra mondiale. Conclusa l'esperienza teatrale a Broadway, a soli 26 anni decise di andare a lavorare per il piccolo schermo, all'epoca in crescente affermazione, diventando famoso come comico e partecipando a numerosi show televisivi che gli diedero una certa fama.
Il suo esordio cinematografico fu tardivo, nel 1962 con la commedia Caccia al tenente, ma le sue successive apparizioni sul grande schermo furono sporadiche e mai legate a film di grande successo.
La carriera di Carter rimase pertanto legata alla televisione, con numerose partecipazioni quale guest star a popolari telefilm come Batman, Il dottor Kildare, Ellery Queen e altri.
Nell'anno in cui vennero istituiti i Tony Award fu scelto come primo presentatore. Una delle sue ultime apparizioni televisive fu nella serie TV Desperate Housewives.