En 1942 il intègre l'orchestre de Charlie Barnet et en 1943 attire l'attention après avoir enregistré avec Coleman Hawkins sur « The Man I Love ». À la même période, il enregistre aussi avec Earl Hines et Ben Webster. Lui et Dizzy Gillespie dirigent un groupe bop en 1943. En 1945 Pettiford se rend en Californie avec Hawkins. Il apparaît dans The Crimson Canary un film connu pour sa musique originale. Il joue ensuite avec Duke Ellington de 1945 à 1948 et avec Woody Herman en 1949 avant de se produire surtout comme leader dans les années 1950.
En 1958 il déménage à Copenhague et enregistre pour des labels européens. Oscar Pettiford meurt en 1960 d'un virus proche de celui de la poliomyélite.
Pettiford est considéré comme le pionnier du violoncelle en tant qu'instrument soliste dans le jazz. En 1949, alors qu'il a un bras cassé, Pettiford ne peut jouer de la basse et s'essaye au violoncelle, prêté par un ami. Il l'accorde en quartes, comme une contrebasse mais une octave plus haut. Il enregistre pour la première fois avec un violoncelle en 1950. Le violoncelle devient alors son second instrument et il continuera à en jouer tout au long de sa carrière.
Duke Ellington : Carnegie Hall Concert January 1946 (Prestige)
Duke Ellington : Carnegie Hall Concert December 1947 (Prestige); 1947-1948 (Classics), 1949-1950 (Classics), Great Times! (OJC, 1950) (includes "Perdido", "Blues for Blanton")
Tal Farlow : Jazz Masters 41 (Verve 1955-58); Finest Hour (Verve, 1955–58)