A római korban egy "Vegium" nevű település állt itt, egy fontos katonai, közlekedési és kereskedelmi csomópont. A település a 4. vagy az 5. századig virágzott, amikor lakói a gótok elől a Pag-szigetre menekültek. A város elhagyása nem jelentette a megszűnését is, de neve a Pag-sziget hasonló nevű települése után Bagra változott.[3]Dmitar Zvonimir horvát király idejében ez a terület a rabi püspökséghez tartozó tengermelléki plébánia része volt. 1251-ben Bag „Scrissa” néven az ősi horvát Tugomirić család birtoka volt.[3]1322-ben az egész Velebit-csatorna térségével együtt a korbáviai grófok a Kurjakovićok birtoka lett. 1387. november 2-án Bag városi kiváltságokat kapott. Az 1470-es években Bag királyi birtok lett, ura I. Mátyás magyar király volt. Mátyás halála után 1493-ban Ivan Karlović korbáviai gróf lett a birtokosa.[3]1525-ben egy török-spanyol tengeri csatában a török felégette a települést, lakóit elűzték vagy rabságba hurcolták. Ekkor pusztult el a középkori Bag városa a Fortica-erőddel együtt, melynek romjai a falu felett láthatók. A várost 1579-re teljesen újjáépítették, 1580-ban már mai nevén Karlobagként említik. Nevét újjáépíttetőjéről II. Károly Habsburg főhercegről kapta.[3]1683-ban Jerko Rukavina ražanaci és Dujam Kovačević vinjeraci kenézekbunyevácokat hoztak ide, akik 1686-ban Lika területére települtek át, ahol négy faluban (Brušane, Trnovac, Smiljan és Bužim) telepedtek le. Lika török uralom alóli felszabadulása után Karlobag is Habsburg uralom alá került, akik a várost megerősítették és 1710-ben felépítették a kapucinus kolostort és a plébániatemplomot. Karlobag 1757-ben újra városi rangot kapott. 1809-ben megszállták a francia hadak, majd 1814-ben újra visszatért a Habsburg uralom alá. Ebben az időszakban építették az erdészet székházát, majd 1875-ben felépült az új iskola is. 1894-ben megépült a kikötő, a védőgát és a hajóállomás, ahova naponta futottak be gőzhajók. 1857-ben 660, 1910-ben 770 lakosa volt. Az első világháború idején spanyolnátha pusztított a településen, amely a háború végére teljesen kimerült. A trianoni békeszerződésigLika-Korbava vármegye Gospići járásához tartozott. Ezt követően előbb a Szerb-Horvát-Szlovén Királyság, majd Jugoszlávia része lett. 1920-ban a turizmus fellendítésére megépült a városi strand. 1943-ban egy bombatámadásban súlyosban megsérült a Borromei Szent Károly templom, melynek romos maradványait 1958-ban elbontották, csak a torony és egy nagyobb falszakasz maradt meg belőle. 1962-ben Karlobag Gospić község része lett. 1968-ban megjavították a Gospićra menő utat. 1985-ben a turizmus fellendítésére megépült a "Zágráb" szálloda. 2011-ben Karlobagnak 468, a községnek összesen 917 lakosa volt. Ma Karlobag turisztikai központként fejlődik, különleges vonzerejét az érintetlen természeti környezet és a tiszta tenger jelenti.
A település központjában található az 1712-ben épített plébániatemplom és kapucinus kolostor.[6] A Szent József tiszteletére szentelt plébániatemplom egyhajós épület egy Szent Antal tiszteletére szentelt oldalkápolnával. A főoltár mögött található az oratórium, benne a 18. századi zsoltároskönyvtartó állvány, melyet a szerzetesek mindennapi imájukhoz használtak. A termet Cristoforo Tasco az utolsó vacsorát ábrázoló értékes képe díszíti. A kolostor négyszögletes alaprajzú, benne négyszögű udvarral, melynek közepén nagyméretű, hat méteres átmérőjű ciszterna található. Kapacitása mintegy 180 ezer liter, amely a település vízellátásához 300 évre elég lenne. Érdekessége, hogy mivel minden helyi családnak megvolt a helye ahol vizet vett a víz felhúzása során a kenderkötél által az idők folyamán okozott vájat a ciszterna szélén máig látható. A kolostor könyvtárában 16., 17. és 18. századi teológiai tárgyú könyvek is találhatók.[7]
A 13–14. századi négyszög alaprajzú erőd, az ún. „Fortica”[8] maradványai a tengerparttól mintegy 250 méterre egy magas platón találhatók. A kora középkorban ezen a helyen alakult ki Scrissa, illetve Bag település. Az erődben tartózkodott kis számú személyzettel a várnagy, aki innen felügyelt a város biztonságára és a Pag felé tartó hajókra. A Forticát 1525-ben a török rombolta le, de jól láthatók tekintélyes romjai. Máig fennmaradt a személyzetet vízzel ellátó ciszterna is. Itt alakították ki a mediterrán kertet a Kavát, ahol magángyűjteményből származó mozaik kiállítás látható. Növényei közül említésre méltó a levendula, a kerti kakukkfű, a hegyi pereszlény, a trombitafolyondár, az örökzöld puszpáng, a mezei kakukkfű, a rozmaring, a homoki szalmagyopár, a szurokfű (oregánó), a majoránna, a zsálya és a babér, melyek illata belengi az egész kertet. A "Kava" (magyarul kávé) neve talán onnan ered, hogy itt egykor katonai szállások, pihenőhelyek voltak.[7]
A városi ciszternák a vízvezeték hálózat megépítése előtt az egyedüli vízmerő helyek voltak. Ezen kívül a társasági élet helyszínei is voltak, ahol gyakran táncoltak kólót, találkoztak a szerelmesek, barátok. Karlobagnak hat ciszternája van, melyeket mint a múlt emlékeit érdemes felkeresni.
Karlobag központja az 1875-ben emelt iskola épületével.
Borromeo Szent Károlynak szentelt temploma[9]1615-ben épült az egykori Szent János templom alapjain. A templom 1943-ban a második világháborúban egy bombatámadás során súlyosan megrongálódott, csak a harangtorony maradt épen. 1958-ban többi részeit el kellett bontani, a torony mellett csak egy nagyobb, emeletnyi magasságú falszakasz maradt meg. A templom maradványai mellett állították fel 2008-ban Šime Starčević emlékművét, Ivan Golac szobrászművész alkotását. Šime Starčević (1784- 1859) arról nevezetes, hogy két horvát nyelvtankönyvet is írt “Nova ricsoslovica ilircska” és “Nova ricsoslovica ilircsko-franceska” címmel. Ő írta az első horvát nyelvű nyelvtankönyvet, de írt latinul, olaszul, franciául és németül is. Első nyelvtankönyvét 1812-ben Triesztben nyomtatták. A Gospić melletti Klanacon született, iskoláit Varasdon, Grácban és Zágrábban végezte. 1808-ban Zenggben szentelték pappá. Papként szolgált Gospićon, Lički Novin, Udbinán és 1814-től haláláig Karlobagon. Latinul, franciául, olaszul és németül is beszélt, de az összes szláv nyelven olvasott is.[7]
A település feletti magaslaton áll a Kálvária az 1727-ben épített Fájdalmas Szűzanya kápolnával. A kápolnát 1727. szeptember 12-én szentelte fel Nikola Pohmajević zenggi, modrusi és korbáviai püspök. 1740-ben a helyi lakosság költségén átépítették.[7]
Az iskolát[10] a település akkori legimpozánsabb épületét 1875-ben építették Mollinary báró osztrák-magyar tiszt anyagi támogatásával.[7] Az épület a település nyugati részén, a főút mentén található. Szabadon álló egyemeletes épület, melynek hosszanti főhomlokzata az utcára néz. A reprezentatív utcai homlokzat sekély kiemelkedésekkel rendelkezik, amelyeket a rusztikus faragott sarok még jobban kiemel. A kiálló kiemelkedéseket oromzatok zárják le, melyeket az körablakok tagolnak. A homlokzat középső függőleges tengelyében egy egyszerű profilozott kőportál található, szegmenses áthidalóval és legyező alakú díszítéssel, amely díszítő elemként ismétlődik a földszinti ablakokon, míg az első emeleten egyszerű kőkartusok találhatók, amelyek hozzájárulnak a homlokzat esztétikájához. Az épületnek nagy jelentősége van a település városképi kialakításában. Az épület megőrizte eredeti szerkezeti és formai jellemzőit, valamint az iskolaépület funkcióját, ami építészeti és kultúrtörténeti szempontból is értékessé teszi.