Respectivement sonorisateur et portier du club new-yorkais le CBGB, Tommy Victor et Mike Kirkland forment Prong au printemps 1986. Fans de Killing Joke et Led Zeppelin, ils s'attachent les services de Ted Parsons, alors batteur des Swans. Le trio donne son premier concert au CBGB en septembre et sort Primitive Origins, un premier mini album auto-produit, à la fin de 1987[5]. Courant 1988, Prong signe chez Epic Records et sort son premier album, Force Fed, sur lequel les influences punk hardcore du groupe sont mixées avec des éléments thrash et indus.
C'est en 1990 que le groupe sort un des albums majeurs de sa discographie. Doté d'une pochette dessinée par Pushead et enregistré par Mark Dodson, Beg to Differ leur permet de tourner avec Faith No More, Soundgarden ou Pantera. Mike Kirkland quitte cependant le groupe et est remplacé par l'ancien Flotsam and JetsamTroy Gregory. Le groupe retourne en studio avec Dodson pour enregistrer leur troisième album, Prove You Wrong.
À l'occasion de la sortie d'un maxi, Prong confie une série de remix à Jim Thirwell (Foetus) et Paul Raven (Killing Joke). Lorsque Troy Gregory quitte le groupe en 1992, c'est à ce dernier qu'ils font appel. Le trio souhaitant développer l'utilisation de sonorité indus et techno dans sa musique, il s'adjoint de plus les services de John Bechdel, collègue de Raven au sein de Murder, Inc.. En 1994, le quatuor sort Cleansing, enregistré avec Terry Date et considéré par beaucoup comme leur album phare. Durant l'été ils tournent aux États-Unis en ouverture de l'affiche Pantera/Sepultura.
Le groupe se sépare après un nouvel album intitulé Rude Awakening en 1996, Epic Records les libère de leur contrat en invoquant des ventes insuffisantes et la formation finit par exploser peu après.
Tommy Victor rejoint la formation de Glenn Danzig tandis que Paul Raven se consacre au travail de producteur avant de retrouver Ted Parsons au sein de Godflesh puis Killing Joke. Tommy Victor relance la carrière du groupe en 2002 avec un nouveau line-up qui subit de nombreux changements et sort un album live et, à ce jour, trois albums studio dont un Carved into Stone (2012) très bien reçu par la critique. Parallèlement à son groupe principal, Tommy Victor continue de s'investir dans Danzig et enregistre plusieurs albums avec Ministry aux côtés de Paul Raven.
Prong publie un double DVD en 2005 intitulé The Vault qui comprend leurs performances des festivals Hulstsfred au With Full Force, et un concert à Amsterdam. Brian Perry et Mike Longworth y participent, et Longworth remplace Perry après son départ en 2003. Dan Laudo quitte le groupe en 2005 et le groupe recrute Aaron Rossi (ex-Strife, Shelter).
Victor et Raven se joignent à Ministry en 2005 en soutien à l'album Rio Grande Blood (2006).
En 2007, Prong signe au label 13th Planet Records, auquel il publie l'album Power of the Damager le . Le groupe participe aux tournées Slicing Across America et Slicing Across Europe en soutien à l'album en 2007 et début 2008. Tommy Victor est rejoint en tournée par Monte Pittman et le batteur Aaron Rossi. Paul Raven meurt d'une attaque cardiaque dans son sommeil le , à 46 ans. Aaron Rossi se joint à Ministry comme batteur à la tournée C U LaTour en mars 2008. Alexei Rodriguez et Tony Campos de Static-X jouent avec Tommy en soutien à Soulfly à la tournée Blood Fire War Hate au printemps 2009. Ils sont remplacés par Jason Christopher (basse) en 2011[6],[7],[8] et Art Cruz (batterie) en 2012.
Le groupe joue avec Fear Factory à leur tournée qui se termine le . Prong publie un nouvel album, Carved into Stone, le , au label Long Branch Records/SPV. Il est produit par Steve Evetts. Le groupe tourne en tête d'affiche avec notamment Crowbar aux États-Unis en pour jouer Beg to Differ dans son intégralité pendant deux semaines en Europe[9],[10]. En été 2013, le groupe effectue une longue tournée européenne, et publie un « bootleg officiel » intitulé Unleashed in the West - Live in Berlin sur Bandcamp[11].
Après avoir passé les mois de novembre et décembre 2013 en studio, Prong publie son neuvième album, Ruining Lives, chez Steamhammer/SPV en avril 2014 puis tourne longtemps[12]. L'album est produit par Tommy Victor et mixé par Steve Evetts.
Le groupe entame une deuxième vague de tournée intitulée Ruining Lives en , participant à des festivals européens. Ils jouent aussi en Amérique du Nord à la fois en tête d'affiche, mais aussi en soutien à Overkill, suivie par une tournée en Europe, toujours avec Overkill, en octobre et novembre[13],[14],[15],[16],[17],[18]. En 2015, le groupe publie l'album de reprises Songs from the Black Hole, suivi un an plus tard, en 2016, de l'album X (No Absolutes).