Mack giocò come ricevitore a partire dal 1886 per dieci stagioni nella National League e una nella Players' League. Nelle ultime tre stagioni nella NL svolse il doppio ruolo di giocatore-manager dei Pittsburgh Pirates dal 1894 al 1896, con un record di 149–134 (.527). Fu licenziato il 21 settembre 1896,[1] dopo di che si ritirò da giocatore a tempo pieno per accettare un accordo con Henry Killilea per essere il manager ed occasionalmente il ricevitore di riserva dei Milwaukee Brewers delle minor league. L'accordo previde un salario di 3.000 dollari e il 25% della proprietà del club.[2] Allenò i Brewers quattro stagioni dal 1897 al 1900, nell'ultima delle quali ottenne il miglior risultato, un secondo posto. Durante la permanenza a Milwaukee firmò il lanciatoreRube Waddell, che lo avrebbe seguito nelle leghe maggiori.
Nel 1901 Mack divenne manager, tesoriere e comproprietario dei Philadelphia Athletics della nuova American League.[3] Allenò gli Athletics fino alla stagione 1950, con un bilancio di 3.582–3.814 (.484) quando si ritirò all'età di 87 anni. Con essi vinse 9 pennant, disputò 8 World Series e ne vinse 5.
I 50 anni di Mack come manager degli Athletics sono il massimo per qualsiasi allenatore nella storia degli sport professionistici americani. Solo due allenatori a livello universitario hanno avuto esperienza più lunghe: Eddie Robinson nel college football allenò i Grambling State Tigers per 57 stagioni, dal 1941 al 1997; Joe Paterno allenò i Penn State Nittany Lions per 62 anni, ma solo in 46 di essi fu il capo-allenatore.
^Warrington, Bob. John Shibe – A Biographic Sketch, su philadelphiaathletics.org. URL consultato il 26 febbraio 2016 (archiviato dall'url originale l'8 maggio 2006).. Philadelphia Athletics Historical Society. URL consultato il 29 novembre 2017.