Halévy se narodil v Paříži jako syn kantora Élia Halfona Lévyho, který přišel do Francie z Bavorska. Byl spisovatelem, učitelem a sekretářem pařížské židovské obce. V roce 1807 si rodina změnila jméno na Halévy. Přízvisko Fromental, znamenající ovsík, připomíná den narození, který byl této rostlině zasvěcen ve francouzském revolučním kalendáři. Na konzervatoř vstoupil v devíti letech. V roce 1809 a stal se žákem a později i chráněncem Luigiho Cherubiniho. Po dvou druhých místech konečně v roce 1819 získal Prix de Rome za kantátu Herminie.
Vzhledem k úmrtí matky musel cestu do Říma odložit, což mu umožnilo přjmout první zakázku na Smuteční pochod a De profundis v hebrejském pojetí na paměť zavraždění od Karla Ferdinanda Bourbonského od Consistoire Israélite du Département de la Seine. Skladba byla proveden 24. března 1820 a měla značný úspěch.
V roce 1822 navštívil Vídeň, kde se seznámil s Beethovenem. Od roku 1826 byl sbormistrem v Théâtre Italien, kde se mu podařilo v roce 1828 uvést operu Clari. V Opéra-Comique se hrály v roce 1827 jeho dvě komické opery L'Artisan a Le Roi et le batelier. V roce 1829 se pak v tomto divadle stal sbormistrem. V témže roce byl jmenován profesorem harmonie a doprovodu na pařížské konzervatoři. Od roku 1833 byl profesorem kontrapunktu a fugy a od roku 1840 vyučoval i kompozici. Měl mnoho pozoruhodných studentů. Byli mezi nimi např.: Georges Bizet, Aimé Maillart či Camille Saint-Saëns.
23. února 1835 měla v pařížské Opeře premiéru Halévyho opera La Juive (Židovka), která se stala skladatelovým největším úspěchem. Na následujících sto let se stala základním kamene francouzského repertoáru všech světových operních scén a zářili v ní přední světoví operní sólisté včetně Enrica Carusa. Po mimořádném úspěchu Židovky zkomponoval řadu dalších oper, ale žádná z nich ani zdaleka nedosáhla srovnatelného úspěchu.
V roce 1836 byl Halévy zvolen členem Akademie krásných umění. Působil jako tajemník Akademie a předsedal několika komisím této instituce. Roku 1849 zkomponoval kantátu Prométhée enchaîné, která je považována za první skladbu v západní hudbě, ve které jsou použity čtvrttóny.
Halévy zemřel 17. března 1862 v Nice ve věku 62 let. Svou poslední operu, Noé, již nedokončil. Dokončení se ujal jeho bývalý žák Georges Bizet. Opera měla premiéru až 10 let po smrti skladatele.
Halévyho žena Leónie, která byl o dvacet let mladší a měla během manželství závažné mentální problémy, se zotavila a stala se uznávanou sochařkou. Jejich dcera Geneviève se provdala za Georgese Bizeta. Bratr Léon se stal spisovatelem a historikem. Napsal jednu z prvních biografií svého bratra. Syn Léonův, Ludovic, byl libretistou mnoha francouzských oper. Napsal např. libreto k Bizetově Carmen nebo k opeře Hoffmannovy povídkyJacqua Offenbacha.
Léon Halévy: F. Halévy. Sa vie et ses oeuvres. Récits et impressions personnelles. Simples souvenirs. 2. édition revue et augmentée. Heugel, Paris 1863.
Ruth Jordan: Fromental Halévy. His Life and Music, 1799–1862. Kahn & Averill, London 1994, ISBN1-871082-51-X.