Mantler groeide op in St. Pölten en kreeg zijn eerste muzikale opleiding aan de Faculteit Muziek en Muziekwetenschap aan de Universiteit van Wenen. In 1962 vertrok Mantler naar de Verenigde Staten en kwam in contact met de New Yorkse jazz avant-garde, bijvoorbeeld Cecil Taylor. Hij richtte destijds het Jazz Composers' Orchestra Association (JCOA) op om nieuwe jazzmuziek zonder winstoogmerk te stimuleren. In aansluiting daarop kwam in 1972 New Music Distribution Service, om de muziek te verspreiden (tot 1992).
In diezelfde beweging zat pianisteCarla Bley, met wie hij op muzikaal en persoonlijk vlak een relatie kreeg, die uitmondde in een dochter Karen Mantler, die ook musicus werd. Samen met Bley richtte hij een nieuw platenlabel op genaamd Watt Works, dat gedistribueerd werd door ECM Records. Aan het label was ook een studio en een muziekuitgeverij verbonden.
Zijn leven als trompettist staat in de schaduw van zijn werk als componist en bandleider. Er volgden allerlei muziekalbums van hem, waarbij geen eenduidige richting valt te bespeuren, anders dat de muziek in de categorie jazz valt. Zo bevat zijn album Something There muziek uitgevoerd met het London Symphony Orchestra en verschenen op andere albums liederen op teksten van onder meer Samuel Beckett (No Answer), Harold Pinter (Silence), en Edward Gorey (The Hapless Child).
Vanaf 1991 vestigde Mantler zich definitief in Europa, waarbij hij pendelde tussen Kopenhagen en Zuid-Frankrijk. Zo af en toe volgen er opnamen, maar niet volgens een vast tijdpatroon. Ook de inschakelde musici voor tournees en plaatopnamen kennen een grote verscheidenheid, waarbij Jack Bruce en Robert Wyatt soms terugkeerden. Per project volgde er meestal een muziekalbum op Watt Works, dan wel op ECM Records.
2000: Songs and One Symphony (ECM) — met Mona Larsen met Kamerorkest en het Frankfurt Radiosymfonieorkest, onder leiding van Peter Rundel; teksten van Ernst Meister
2001: Hide and Seek (ECM) — met Robert Wyatt, Susi Hyldgaard, en kamerorkest; teksten van Paul Auster
2006: Review (ECM) — opnamen van 1968 - 2000
2008: Concertos (ECM) — met Michael Mantler, Bjarne Roupé, Bob Rockwell, Roswell Rudd, Pedro Carneiro, Majella Stockhausen, Nick Mason, Kammerensemble Neue Musik Berlin, onder leiding van Roland Kluttig
2011: For Two (ECM) — met Bjarne Roupé and Per Salo
2014: The Jazz Composer's Orchestra Update (ECM) — met Michael Mantler, Bjarne Roupé, Harry Sokal, Wolfgang Puschnig, radio.string.quartet.vienna, David Helbock, Nouvelle Cuisine Big Band, onder leiding van Christoph Cech
2017: Comment c'est (ECM) — met Michael Mantler, Himiko Paganotti, Max Brand Ensemble, onder leiding van Christoph Cech; teksten van Michael Mantler
2021: Coda - Orchestra Suites (ECM) — met Michael Mantler, Bjarne Roupé, David Helbock, orkest onder leiding van Christoph Cech