Упершыню паселішча згадваецца ў 1538 годзе пад назвай Малыя Пянёны. У канцы ХV стагоддзя Аляксандр Ягелончык падарыў паселішча свайму скарбніку Станіславу Каварскаму, з гэтага часу паселішча змяніла назву на сучасную. У наступныя стагоддзі Каварск належаў Осцікавічам[3], Агінскім, Тышкевічам.
З 1918 года ў складзе Літвы. У 1956 годзе Каварск атрымаў правы горада.