Tharaud wuchs mit seinem älteren Bruder Jérome im Département Charente auf. Nachdem nach dem Besuch des Lycée in Angoulême seine Aufnahme an der Militärschule Saint-Cyr abgelehnt wurde, begab er sich nach Paris, um dort eine Ausbildung als Inspektor in der Finanzverwaltung zu beginnen. Allerdings entschloss er sich in Paris ein Studium der Philosophie zu beginnen und begann zusammen mit seinem Bruder seine schriftstellerische Tätigkeit. Zur Bestreitung des Lebensunterhalts arbeiteten beide als Sekretär des Politikers und Schriftstellers Maurice Barrès. Für ihren Roman Dingley, l’illustre écrivain erhielten die Brüder Tharaud 1906 den renommierten Prix Goncourt. 1907 nahm er an dem Einmarsch von Hubert Lyautey in Marokko teil und verarbeitete die dortigen Erlebnisse in zahlreichen Werken. Ein Großteil der schriftstellerischen Arbeiten befasste sich mit historischen und zeitgenössischen Themen, aber auch mit der Situation von Islam und Judentum. Da Jérome sich vor dem Krieg in Ungarn aufgehalten hatte, schrieben sie 1921 ein Buch über die Umstürze in Ungarn seit 1918 und bedienten dabei nicht nur in der Titelwahl Quand Israël est roi (deutsch: Die Herrschaft Israels) den französischen Antisemitismus.[1]
Nachdem sein Bruder bereits 1938 zum Mitglied der Akademie gewählt worden war, wurde er selbst am 14. Februar 1946 mit 13 Stimmen gegen sieben Stimmen für den Schriftsteller Maurice Bedel zum Mitglied der Académie française und nahm dort als Nachfolger von Louis Bertrand bis zu seinem Tod den vierten Sessel (Fauteuil 4) ein. Die Brüder Tharaud waren damit nach Maurice de Broglie und Louis de Broglie, die 1934 beziehungsweise 1944 Mitglieder wurden, das zweite Brüderpaar, das im 20. Jahrhundert Mitglied der Académie française wurde. Jean Tharaud war darüber hinaus ebenso wie sein Bruder Offizier der Ehrenlegion.