Le groupe nait dès 1979 de manière conceptuelle[1],[2]. La formation originale était composée du chanteur et claviériste Rodney Linderman ("Rodney Anonymous"), du guitariste et chanteur Joe Genaro ("Joe Jack Talcum"), du bassiste Dave Schulthise ("Dave Blood") et du batteur Dean Sabatino ("Dean Clean").
Le groupe s'est distingué sur la scène punk hardcore du début des années 1980 grâce à son son punk jangly et à son humour sardonique prononcé avec un fort accent de Philadelphie. Ils ont attiré l'attention des radios universitaires avec leur premier album de 1985, Big Lizard in My Backyard, et la chanson " Bitchin' Camaro ". Des tournées intensives et d'autres albums ont permis au groupe de se faire un nom dans le milieu underground.
Le groupe connait un succès international grâce à Punk Rock Girl[3], un single de leur album Beelzebubba de 1988 qui entre dans la programmation de MTV[4],[5]. Après un passage malheureux avec le label Hollywood Records, des problèmes de santé et les frustrations de l'industrie à la suite de leur succès conduisent à la séparation du groupe en 1995.
Le groupe s'est reformé en 2008, avec Dan Stevens remplaçant le défunt Schulthise. En 2011, ils sortent The King in Yellow, leur premier album studio en 16 ans. Le groupe reste actif ensuite, effectuant des tournées sporadiques[6] et sortant d'autres disques[7],[8].