Historie obce je spjata s historií stejnojmenného zámku (dříve hradu). Podle archeologických nálezů lze jeho založení řadit do poloviny 13. století; první písemná zmínka (Serowicz) o hradu pochází z roku 1358.[4] V roce 1854 byla Žirovnice povýšena na město.
Žirovnice je známá výrobou perleťových knoflíků. Toto řemeslo bylo do tradičně tkalcovského města uvedeno v roce 1863; v roce 1910 již v obci pracovalo více než 600 perleťářů. Výrobě knoflíků a jiných předmětů z perleti je věnována zvláštní expozice v žirovnickém zámeckém areálu.[5]
V letech 2006–2010 působil jako starosta František Plešák, od roku 2010 tuto funkci zastává Milan Šmíd. Od roku 2022 je starostou města Radek Vopravil.
Zámecký pivovar, budova z let 1589–1592 postavená za panování Adama II. z Hradce dle projektu italských architektů (Baldassare Maggi a Antonio Cometto). Pivo se vařilo do roku 1865, dále byl pivovar využíván jako hostinec či sokolovna, v roce 1924 část přestavěna na byty, renovace v letech 2009–2011
Kaplička u pivovaru
Socha svatého Jana Nepomuckého
Sloup se sochou Panny Marie
Hospoda U Plíhalů
Zámecký špýchar – postaven za doby Františka Leopolda ze Šternberka pravděpodobně v roce 1707, rekonstruován 2007, slouží jako muzeum