Johansen skrev en rekke bøker. Han kom med sin første bok i 1962, og fikk totalt utgitt nærmere 60 bøker.[6] De fleste bøkene var tuftet på erfaringer han gjorde som NRK-reporter, og blant temaene Johansen skrev om var internasjonal politikk, reportasjebøker, reiseskildringer, beretninger fra livet som utenrikskorrespondent og bøker om jøder og sigøyneres situasjon i Europa.
Hans journalistiske karriere startet med jobb som frilansjournalist i Porsgrunns Dagblad i 1949 (han jobbet også for Skiensavisen Varden mens han studerte i Oslo). Han påbegynte en lang karriere som utenrikskorrespondent i 1956, dengang for Morgenposten. Han var også med i redaksjonene til tidsskriftene Credo og Epoke, samt var redaktør av universitetsavisen Universitas.
Han begynte å jobbe som utenrikssjef i NRKDagsrevyen i 1966 fram til han ble Moskva-korrespondent fra 1975 og frem til 1977. I 1977 returnerte han til Norge for å overta stillingen som sjefredaktør i Dagbladet, en stilling han hadde frem til 1984. Det var under Johansens ledelse at avisen i 1983 la om til tabloidformat.[7]
Johansen overtok etter Anton Blom som NRKs Washington-korrespondent (1985–90), og var deretter utenriksredaktør i nyhetsredaksjonen i fjernsynet, frem til han overtok som Berlin-korrespondent fra 1995 til 2000. Johansen var i tillegg til sin evne til utenrikspolitiske analyser, kanskje spesielt kjent for sin evne til å få den «vanlige» mann og kvinne i tale ved å gi et grasrotperspektiv på de landene hvor han var korrespondent.[8]
Ved siden av Dagsrevyen var han også programleder i Utenriksmagasinet i en rekke år.[9]
Johansen var også en flittig benyttet foredragsholder for norsk finans, banker og næringsliv og holdt dessuten jevnlig kåserier på kulturturistturer til Berlin, St. Petersburg og Praha.
Fiksjonen hans preges tidvis av en reportasjestil som har fått enkelte kritikere til å oppleve dem som selvbiografiske beretninger fra hans korrespondentkarriere, slik at jeg-personen lett forveksles med Jahn Otto Johansen, og leseren blir hengende i uvisse om hva som er fakta og hva som er fiksjon. Boka Min jødiske krig (1983) vakte debatt da VGs Tim Greve kritiserte daværende sjefredaktør i Dagbladet, Johansen, for å ha oversatt 37 sider av den amerikanske forfatteren Lucy C. Dawidovicz bok om krigen og jødene, uten å oppgi kilde.[8] Johansen medga at nærmere en fjerdedel av boka var hentet fra andre kilder, men forsvarte seg med at den var en reportasjeroman der det ville bryte med formen å oppgi kilde.[11] Også Johansens neste bok, Det hendte også her, utgitt i 1984, ble møtt med anklager om uredelig siteringspraksis og til dels avskrift av andre forfatteres tekster. Den boken det ble avslørt at Johansen hadde gjort mest utstrakt ukreditert bruk av, var Jeg er jøde av David Abrahamsen fra 1935. Forlagssjef Birger Huse i Tanum og Nordli, forlaget som hadde utgitt Abrahamsens bok, erklærte at Johansen hadde brutt med litterær folkeskikk.[12] «Jahn Otto Johansen er forfatter. Da bør han også vite hvordan man oppfører seg mot andre forfattere når han bruker stoffet deres», uttalte Abrahamsen.[13] Han valgte likevel å ikke gå til søksmål mot Johansen og begrunnet det med at «Livet løper for fort til å oppta tiden med en dragkamp i rettssalen.»[14]
50 av forelesningene for Atlanterhavskomiteen er utgitt i komiteens skriftserie fra 1975 og fram til i dag.
Johansens egne erindringer ble utgitt i tre bind som I grenseland, Kald krig og varme vennskap, og Medier, makt og mennesker fra 1999 til 2001.[7]
Johansen utga i 2017 boken Marie og hennes elsker om sin farmor som var venninne med Marta Steinsvik, og som henne skeptisk til jøder og jesuitter. Johansen mente derfor hans forfatterskap ville forskrekket henne. Farmoren fikk sin sønn utenfor ekteskap, og foreldrene hennes ville ikke ha noe å gjøre med en datter som var «kommet i ulykke». Hun satte bort den nyfødte i fosterhjem,[15] flyttet til Oslo og fortalte aldri noen hvem som var barnets far. Johansen spurte en gang en sovjetisk diplomat om KGB kunne ha funnet ut hvem farfaren var? Diplomaten lo og sa at de hadde forsøkt, «men heller ikke vi har funnet ham!»[16] Johansen var 83 år da hans bok Marie førte ham til Fredrikstad, der slektsforsker Svein Skahjem hadde sporet opp hvem hans farfar hadde vært. Johansen møtte flere søskenbarn og så huset der hans farfar hadde bodd, Trosvikgata 21.[17]
Johansens farmor meldte seg inn i NS, men hadde lite til overs for partitoppene. Det var tysk kultur hun så opp til. Da Johansen flyttet til Oslo for å studere, ble han kjent med sin farmor som en intelligent og velorientert kvinne, men fikk aldri noen forklaring på valgene hun hadde tatt. Han lurte på om hun var blitt gravid med og forlatt av en mann hun antok var jøde; men i menighetsprotokollen fant han styrmann Johan Ludvig Jensen fra Fredrikstad oppført som barnefar. Så sent som i april 1945 fornyet Marie sitt medlemskap i NS. Da en NS-tjenestemann rutinemessig spurte om hun hadde kjent eller hatt omgang med en ikke-arier, nektet hun å svare. Tidligere kunne hun da blitt arrestert. I 1946 var det en Milorg-mann som avhørte henne. Han hadde vondt av henne og prøvde å tone saken ned, men det gikk ikke Marie med på, så hun fikk en uvanlig streng dom, også fordi saken hennes ble behandlet tidlig. Noen fengselsstraff fikk hun ikke, men ble fratatt en stor del av formuen sin. Også hennes sønn, Johansens far som også som voksen levde med merkelappen «lausunge», fikk unngjelde i mai 1945. Han drev en elektrisk forretning, og fikk radioene beslaglagt av tyskerne i 1941. Folk som mistet radioen sin, fikk Gestapos telefonnummer de kunne ringe, og det gjorde Johansens far, som bekymret seg for levebrødet sitt. Denne samtalen ble registrert av hjemmefronten som anklaget ham for samarbeid med tyskerne. Han fikk derfor forbud mot å dekorere butikkvinduene sine med norske flagg i frigjøringsdagene. Senere sendte hjemmefronten ut en dementi av anklagene mot ham, men det hjalp lite, og Jan Otto Johansen fikk også merke dette, noe han mente hadde gitt ham større forståelse for andres utenforskap.[18]
Da Dagbladet i 1991 offentliggjorde en meningsmåling over hvem nordmenn hadde mest tillit til, tronet Johansen på toppen.[8]
I en artikkel i Morgenbladet i 1995 beskrev medieviterne Olav Anders Øvrebø og Henrik G. Bastiansen Johansen som «den suverent mest intervjuede norske journalist», og de mente grunnen var enkel: «Han er perfekt til portrettintervjuet – kjent, fargerik, med sterke meninger og konstant høy sigarføring.»[8] Da Johansen fylte 60 år i 1994, uttalte han til Aftenposten at «Jeg har aldri sagt nei til en vakker kvinne eller en god sigar», et sitat som ofte har blitt gjengitt i ettertid. Johansen uttalte seg ofte i medier om vin, øl og akevitt, og spesielt klippfisk og lutefisk. Han var heller ikke redd for å fortelle journalister om seksualdriften, og da han utgav en bok om bacalao, kunne man lese avisoverskriften «Bacalao gjør meg kåt!»[19]
Johansen selv var imidlertid skeptisk til hva han betegnet som «et merkelig fenomen» i Norge, nemlig hva han oppfattet som medias uttrykk for forakt for «kjendiser», samtidig som de ble dyrket frem. Han bemerket at salget av hans bøker først skjøt fart da han ble kjent som tv-personlighet.[20]
Nikita Sergejevitsj Krusjtsjov: En kortfattet biografiAschehoug (1960) (Oversatt av Jahn Otto Johansen)
Studiet av Sovjetsamveldet: Referat fra en studiekonferanse 7.- 9.11.1959 (1960) (redaktør) (Norsk selskap for Sovjetstudier, i samarbeid med Norsk utenrikspolitisk institutt (NUPI))
The difficult adaptation process of the Norwegian Communist Party in light of de-stalinization, the Soviet-China conflict and Khruschev's fallNUPI (1965) (Skrevet sammen med Karin Stoltenberg og Joan M. Torgersen).
Titokratiet: Den jugoslaviske reformprosessPax (1967)
Tyskland i oppbrudd: Reisebrev fra vestAschehoug (1998)
Praha Milennium (1998) (Milenniums norske reisebøker)
Den alltid aktuelle Peer Gynt. Spillet om Peer Gynt, eller Peer Gynt som musikkdramatisk kasteballStiftelsen Peer Gynt (1999) (skrevet sammen med Eyvind Solås)
Berlin Milennium (1999) (Milenniums norske reisebøker)
I grenseland: Erindringer fra en stor og en liten verdenAschehoug (1999)
Kald krig og varme vennskap: Erindringer fra en stor og en liten verdenAschehoug (2000)
Medier, makt og mennesker: Erindringer fra en stor og en liten verdenAschehoug (2001)
Den brune fare: Høyreekstremisme og rasisme i det nye EuropaAschehoug (2002)
Alle byers mor: Historier om Praha og landet omkringDamm (2003)
^«- Hensiktsmessig å være full». Fredriksstad Blad - www.f-b.no (på norsk). 9. september 2012. Besøkt 4. august 2018. «Jan Otto Johansen sørget for et smekkfullt Teglhus da han holdt sitt foredrag søndag. Han brukte mye av tiden på scenen til å lese og fortelle fra sin nye bok Hastverk når vi elsker, men han delte også noen personlige anekdoter fra et langt liv som pressemann og forfatter.»