Kancey al college giocò a football a Pittsburgh dal 2019 al 2022. Nella prima stagione disputò una sola partita, il Quick Bowl 2019, e passò il resto dell'anno come redshirt, potendo cioè allenarsi con la squadra ma non scendere in campo. Nel 2020 disputò 11 partite, di cui le ultime 4 come titolare, facendo registrare 27 tackle e 1,5 sack. Nel 2021 disputò 14 partite come titolare, con 35 placcaggi e 7 sack, venendo inserito nel Third-team All-American dall'Associated Press.[1] Nel 2022 totalizzò 31 tackle, 7,5 sack e 14,5 placcaggi con perdita di yard, venendo premiato unanimemente come All-American e come difensore dell'anno dell'Atlantic Coast Conference.[2][3]
Kancey fu scelto nel corso del primo giro (diciannovesimo assoluto) del Draft NFL 2023 dai Tampa Bay Buccaneers.[4] Il primo sack lo mise a segno nel sesto turno contro i Detroit Lions.[5] Alla fine di novembre fu premiato come rookie difensivo del mese, in cui in tre partite mise a segno 10 placcaggi (7 dei quali con perdita di yard) e 2 sack.[6] La sua prima stagione si chiuse con 26 tackle, 4 sack e un passaggio deviato in 14 presenze, tutte come titolare.