Graur studierte in Bukarest und ab 1924 in Paris. Er habilitierte sich an der Sorbonne mit den beiden Thèses Les Consonnes géminées en latin (Paris 1929) und Nom d‘agent et adjectif en roumain (Paris 1929). In den dreißiger Jahren wirkte er als Gymnasiallehrer in Bukarest. Von 1941 bis 1944 leitete er das von ihm (als Reaktion auf den Antisemitismus) gegründete Private Jüdische Gymnasium. Von 1946 bis 1964 besetzte er an der Universität Bukarest den Lehrstuhl für Klassische Philologie (von 1954 bis 1956 war er auch Dekan), von 1964 bis zu seiner Emeritierung 1970 den Lehrstuhl für Allgemeine Sprachwissenschaft.
Graur war ab 1955 ordentliches Mitglied der Rumänischen Akademie. Von 1955 bis 1974 leitete er deren Verlag. Von 1974 bis zu seinem Tod war er Vorsitzender ihrer Philologischen Abteilung. Er war verantwortlicher Herausgeber der Zeitschriften Studii clasice (1959–1988), Limba şi literatura (1965–1970) und Limba română (1982–1988).