Tema vanemad olid rüütel Axel Nilsson Banér (1513–1554) ja Margareta Pedersdotter Bjelke (1510–1557).[3]
Ta abiellus 8. oktoobril 1581Stockholmis Kristina Svantesdotter Sturega (1559–1619), kes oli riiginõunik ja riigimarssal krahv Svante Sture (1517–1567) ja Märta Eriksdotter Leijonhufvudi (1520–1584) tütar. Abielust sündisid:
Margareta (1582–1618)
Svante (1584–1628), Djursholmi härra, riiginõunik, Riia ja Liivimaa kuberner.
Karl (1598–1632), Varbla (Wärpäl) mõisaomanik, Segersjö härra, ülemkammerhärra (1625), Marienburgi kuberner (1626), riigisekretär (1628), Preisimaa asekuberner (1631), hertsog Karl Gustavi kammerhärra, riiginõuniku Gustaf Banéri (1629–1680) isa.
20. detsembril 1651 said tema poegade Svante, Pederi, Axeli ja Karli pojad vabahärratiitli ja immatrikuleeriti 1652. aastal nr. 22 all Rootsi rüütelkonda.[5]