Szilvásszentmárton nevét 1332 és 1337 között említették először a pápai tizedjegyzékben, majd 1496-ban Belchyzentmarton módon írták. 1554-ben a török kincstári adólajstromban is említették nevét Szilvás-Szent-Márton írásmóddal.
A településnek az 1910-es adatok szerint 365 lakosa volt.
A Zselicség falvai közé tartozó település régen híres volt gazdag néprajzi értékeiről és faépítészetéről.
A 2011-es népszámlálás során a lakosok 92,1%-a magyarnak, 15,3% cigánynak, 2,5% németnek mondta magát (7,4% nem nyilatkozott; a kettős identitások miatt a végösszeg nagyobb lehet 100%-nál). A vallási megoszlás a következő volt: római katolikus 52,2%, református 24,1%, felekezeten kívüli 8,9% (14,8% nem nyilatkozott).[11]
2022-ben a lakosság 92,4%-a vallotta magát magyarnak, 4,7% cigánynak, 1,8% egyéb, nem hazai nemzetiségűnek (7,1% nem nyilatkozott; a kettős identitások miatt a végösszeg nagyobb lehet 100%-nál). Vallásuk szerint 38,2% volt római katolikus, 17,6% református, 0,6% egyéb katolikus, 23,5% felekezeten kívüli (19,4% nem válaszolt).[12]
F.A.L.U. Fesztivál – nagyszabású összművészeti fesztivál, amelyet 2018 nyarától kezdve rendeznek meg minden évben. Neve a „falu, ahol lehetetlen unatkozni” jelmondat rövidítéséből ered.[13]
Árvízcsúcscsökkentő tó a község és Zselickisfalud között. A partmenti, jól felszerelt (padok, világítás, filagória, mosdók) sétány a főútról induló hársfa-sétányon keresztül elérhető.[14]