Tarkiainen on tehnyt uraa arkistolaitoksissa Ruotsissa ja Suomessa. Vuodesta 1971 hän toimi pitkään Ruotsin valtionarkistossa, jossa hän oli ensimmäinen arkistonhoitaja (förste arkivarie) 1978–1982 ja 1984–1992 sekä arkistoneuvos (arkivråd) 1992–1996.[1] Hän oli Nordiska museetin arkistopäällikkö 1982–1984[2]. Hän työskenteli uransa päätteeksi Suomen arkistolaitoksen pääjohtajana ja valtionarkistonhoitajana 1996–2003[1].
Tarkiainen on keskiajan ja varhaisen uuden ajan asiantuntija, joka on kirjoittanut yleisesityksiä kulttuuri- ja sosiaalihistorian alalta sekä elämäkertoja.[1] Hän kuuluu historiantutkijana Eino Jutikkalan (Helsinki) ja Sten Carlssonin (Uppsala) koulukuntiin. Hän on tutkinut Venäjä-kuvaa Ruotsissa väitöskirjassa Vår Gamble Arffiende Ryssen (1974) ja kiteyttänyt havaintonsa tästä aiheesta teokseen Moskoviten (2017, suomenkielinen laitos Moskovalainen 2022), kirjoittanut elämäkerrat Mikael Agricolasta (1985, Viljo Tarkiaisen käsikirjoituksen pohjalta) ja Magnus Jacob Alopaeuksesta (1985). Hänen merkittävimpiä töitään ovat laaja historiateos Finnarnas historia i Sverige 1–2 (1990–1993), joka valaisee suomalaisten panosta Ruotsin yhteiskuntaan keskiajalta toisen maailmansodan aikaan[1]. Toinen suuri teos on monografia Sveriges Österland. Från forntiden till Gustav Vasa (2008, suomeksi Ruotsin Itämaa 2010), joka käsittelee Ruotsin merkitystä Suomelle, sen keskeisiä kysymyksiä Suomen historiassa, muuttoliikettä, hallinnon kehitystä, suomen ja ruotsin kielten välisiä suhteita[1][3]. Viron Ruotsin-ajan historiasta hän on kirjoittanut teoksen Provinsen bortom havet (2013) yhdessä puolisonsa, virolaisen historiantutkijan Ülle Tarkiaisen (os. Liitoja) kanssa.
Tarkiainen on myös ollut kiinnostunut kaunokirjallisuudesta, mikä näkyy muun muassa teoksesta Paavo Haavikko, modernisternas furste (1997), elämäkerrallisesta pienoisromaanista Särjetty sinetti (2000), esseekokoelmasta Januksen kahdet kasvot (2003) sekä byrokratiasatiirista Varjojen valtakunta (2008). Hänen muistelmansa Sade puhui latinaa (2019) ovat kulttuurihistoriallinen kuvaus tekijänsä vaiheista hänen kolmessa kotimaassaan Suomessa, Ruotsissa ja Virossa.
Provinsen bortom havet. Estlands svenska historia 1561–1710 Ülle Tarkiaisen kanssa (Svenska litteratursällskapet i Finland, 2013) ISBN 978-951-583-265-8, viroksi Meretagune maa (Varrak, 2014)
Ruotsin ja Venäjän rauhanneuvottelut 1557. Mikael Agricola Ruotsin lähetystön jäsenenä. Toim. ja ruotsinkieliset asiakirjat suom. Kari Tarkiainen, venäjänkieliset asiakirjat suom. ja komm. Gennadi Kovalenko ja Nina Kovalenko. (Suomalaisen Kirjallisuuden Seura, 2007) ISBN 978-951-746-878-7
Valtakunnan vaihdos 1809. Ajan tuntoja Alopaeuksen pappissuvun papereissa. Toim. ja esipuheella varustanut Kari Tarkiainen. (Suomalaisen Kirjallisuuden Seura, 2009) ISBN 978-952-222-060-8