Son père, Albert Alain, est organiste de Saint-Germain-en-Laye et compositeur. Olivier Alain est le frère de Jehan Alain (1911-1940), bien connu comme compositeur et organiste, et de Marie-Claire Alain (1926-2013), organiste de renommée internationale. Au Conservatoire de Paris Olivier Alain fut l'élève de Tony Aubin et d'Olivier Messiaen en 1950 et 1951. Il dirigea le Conservatoire de Saint-Germain-en-Laye de 1950 à 1964, directeur de l'École supérieure de musique César Franck de 1961 à 1972 où il enseigna la composition et l'analyse musicale. Il fut également inspecteur de la musique au Ministère de la culture. En 1976, il fonda le Conservatoire national de région de Paris, qu'il dirigea jusqu'en 1985. Il a aussi été critique musical pour Le Figaro, Les Nouvelles Littéraires et La Croix. Il est notamment l'auteur d'un oratorio, de motets et de diverses pièces pour orgue. Il découvrit dans une bibliothèque privée à Strasbourg 14 Canons inédits de Jean-Sébastien Bach, sur les 8 notes fondamentales de l'aria initiale des Variations Goldberg (BWV 1087). Ces canons furent donnés en première audition dans cette ville en 1974. Ils sont considérés comme une découverte musicologique majeure du XXe siècle sur la musique de Bach.
Aventure op. 144 pour flûte et orgue (1953. Paris: Salabert)
Suite française: Suite pour Rameau op. 163 pour trompette et orgue ou flûte et orgue (1964. Sampzon: Éditions Delatour France) créée en 2010 par Yannick Merlin (orgue) et François Frémeau (trompette)
Ballade op. 163b pour piano et orgue (1948. Sampzon: Éditions Delatour France)
Songe ou Souvenances (Mneïa) op. 164 pour hautbois et orgue ou flûte et orgue (1973. Sampzon: Éditions Delatour France)
Threnos (Deuils) op. 167 pour piano et orgue (1982. Sampzon: Édition Delatour France)
Decourt, Aurélie (2008) : "Olivier Alain : Un artiste déchiré entre ses passions." In Association Maurice & Marie-Madeleine Duruflé: Bulletin Nos. 7-8 (2007-2008) : 106-111.
Guillard, Georges (2008) : "Olivier Alain: Passeur et accoucheur de musiciens." In Association Maurice & Marie-Madeleine Duruflé : Bulletin Nos. 7-8 (2007-2008) : 102-105.