In den 1960er Jahren spielte er in mehreren Formationen (darunter Brainbox), bevor er sich 1970 der Gruppe Focus anschloss. Gemeinsam mit dem Keyboarder und QuerflötenspielerThijs van Leer und wechselnden Bassisten und Schlagzeugern nahm er in der ersten Hälfte der 1970er Jahre mehrere erfolgreiche Alben auf. 1971 gelangte die Single Hocus Pocus bis auf den 20. Platz der britischen und bis auf den 9. Platz der US-amerikanischen Charts. Zum Jahreswechsel 1972/73 erreichte die Single Sylvia den vierten Platz der britischen Charts.
Anfang 1976 verließ er Focus und begann eine Solokarriere. Auf seinen zahlreichen LPs bzw. CDs wandte er sich verschiedenen Musikrichtungen zu (u. a. altenglische Lautenmusik, lateinamerikanische Stücke für akustische Gitarre oder verschiedene Spielarten des Jazz) und arbeitete mit zahlreichen Musikern zusammen (darunter Kaz Lux, Claus Ogerman, Tom Barlage, Joachim Kühn oder Maggie MacNeal, zu deren Solo-LP Fools Together er ein Arrangement des Cream-Titels White Room beisteuerte). 1985 nahm Akkerman mit Thijs van Leer noch einmal ein Album mit dem Titel Focus auf. Dieses hatte jedoch ebenso wenig kommerziellen Erfolg wie seine späteren Solo-Projekte. Mehrere Jahre arbeitete er auch mit den Five Great Guitars (u. a. mit Jan Kuiper, Harry Sacksioni und Eric Vaarzon Morel) zusammen.
2004/05 erhielt Akkerman, der weiterhin im Studio und auf der Bühne aktiv ist, in Anerkennung seines Gesamtwerks von der niederländischen Stiftung Conamus die Gouden Harp.
Am 11. April 2009 gewann Akkerman den vierten Eddy Christiani Award weil er einen inspirierenden Beitrag zur Entwicklung der elektrischen Gitarrenmusik leistete.
Am 28. Dezember 2012 wurde er anlässlich seines 50-jährigen Bühnenjubiläums zum Ritter des Orden von Oranien-Nassau ernannt.[1]
Dieses Jubiläum feierte er mit zwei Konzerten. Eines im Melkweg in Amsterdam und das andere im Kulturzentrum De Oosterpoort in Groningen.
David Randall: in & out of focus - the music of Jan Akkerman & focus. SAF Publishing, London, 2002. ISBN 0-946719-44-6
Brigitte Tast, Hans-Juergen Tast: „be bop“ - Die Wilhelmshöhe rockt. Disco und Konzerte in der Hölle. Verlag Gebrüder Gerstenberg GmbH & Co. KG, Hildesheim 2007, ISBN 978-3-8067-8589-0.
Brigitte Tast, Hans-Juergen Tast: „be bop“ - Rock-Tempel & Nachtasyl - Band 2 zur Legende. Hildesheim: Verlag Gebr. Gerstenberg 2009. ISBN 978-3-8067-8733-7.