En 1977, son premier 45 tours, "Really Free", une chanson d'amour parlée-chantée, a atteint le numéro 27 dans les charts de 45 tours britanniques et lui a permis de signer un contrat pour cinq disques avec Polydor. Son premier album, enregistré avec Wild Willy Barrett, a été produit par Pete Townshend.
En 1990, il publie son autobiographie Cor Baby, That's Really Me (sous-titrée Rock and Roll's Greatest Failure). Il bénéficie d'un statut d'artiste-culte auprès de nombreux fans fidèles : en 1993, il réunit 2 500 fans pour un concert à Londres et, en 1998, il célèbre son anniversaire avec 4 000 d'entre eux au Royal Albert Hall. Il a un club moto de fans, le Beware of the Flowers MCC[1].