Il commence à enregistrer dès 2001. Il se fait connaître avec l'album Happy Soup en 2011, suivi de It's a pleasure en 2014. En 2017, il sort l'album Prince of Tears[1]. Un nouvel album intitulé The Night Chancers sort en mars 2020. En 2023, il revient avec l'album I Thought I Was Better Than You.
Baxter Dury grandit au sein d'une famille d'artistes. Son père est Ian Dury, le chanteur du groupe Ian Dury and the Blockheads (également connu pour être l'auteur de la célèbre maxime Sex, Drugs & Rock 'n' roll), sa mère est peintre et sa sœur est danseuse[2]. À l'âge de cinq ans, Baxter Dury apparaît sur la pochette d'album New Boots and Panties!! de son père. Ses parents se séparent quand il a treize ans.
Durant son adolescence, il est renvoyé de plusieurs collèges[3], notamment de l'institution King Alfred School à Hampstead pour avoir jeté des chaises par la fenêtre le premier jour[4], et passe tout son temps libre à jouer et écouter de la musique, plus spécialement de la soul et du jazz. En 1994, il perd sa mère des suites d'un cancer. Baxter Dury a eu un fils avec la petite-fille du réalisateur Zoltan Korda.
Len Parrot's Memorial Lift, le premier album, paraît en 2002 ; Baxter Dury s'est entouré de Geoff Barrow (membre de Portishead), et de l'ex- PulpRichard Hawley pour sa réalisation.
En 2005, il sort l'album Floor Show (parfois orthographié Floorshow) sur le label Rough Trade. Il a travaillé sur l'écriture de plusieurs morceaux avec Ben Gallagher. Il est accompagné par le guitariste Mike Mooney et le batteur Damon Reece. L'album est plutôt bien apprécié par la critique[6],[7],[8]. Allmusic lui a attribué la note de 3,5 sur 5[9]. Les textes sont empreints de mélancolie, et sont liés à une rupture amoureuse[9]. Les excès, la drogue, les cigarettes sont des thèmes très présents. Plus généralement, c'est une sorte de pessimisme décalé qui revient[10]. La musique s'inspire de la brit pop des années 90, à laquelle s'ajoutent du shoegaze[10], du noise[11], du psychédélisme[12] et des effets de drone[9].
En 2011, paraît son troisième album Happy Soup, une collection de chansons « balnéaires et psychédéliques » (dixit son auteur), produit par Craig Silvey entre Londres et Ibiza. La voix grave et nonchalante de Baxter Dury est souvent accompagnée par celle de l'Australienne Madelaine Hart, qui assure les chœurs. L'album est un succès et est nommé Album du mois de par le magazine Magic (revue pop moderne). Happy Soup est également l'un des albums préférés de Frank Black, chanteur des Pixies[13].
Après avoir signé un contrat avec la maison de disque PIAS, Baxter Dury sort en l'album It's a Pleasure. Cette fois-ci, il fait appel à la française Fabienne Débarre du groupe We Were Evergreen pour l'accompagner au chant[16].
Deux titres de Baxter Dury (dont Leak At The Disco qui est aussi utilisé dans la bande-annonce) sont par ailleurs entendus dans le film Métamorphoses de Christophe Honoré[17].
Fin , Baxter Dury publie le single Miami. En octobre, ce titre est remixé par Jarvis Cocker et Richard Barratt (aka DJ Parrot)[18].
L'album Prince of Tears sort le . Dans cet album, Baxter Dury retrouve la chanteuse Madelaine Hart et invite Rose Elinor Dougall sur la chanson Porcelain et Jason Williamson du groupe Sleaford Mods sur le titre Almond Milk.
En novembre 2019, il marque son retour avec la sortie du clip Slumlord et annonce un nouvel album The Night Chancers prévu pour 2020[19].
Pour célébrer ses 20 ans de carrière, Baxter Dury annonce, en octobre 2021, la sortie de Mr. Maserati, the Best Of Baxter Dury 2001 – 2021, un album compilation qui regroupe des titres inédits[20]. Il dévoile alors le morceau D.O.A[21].
En mars 2023, il annonce la sortie d'un nouvel album appelé I Thought I Was Better Than You prévu pour le 2 juin et partage le clip du single Aylesbury Boy[22].
En 2008, Baxter Dury produit, avec Craig Silvey, l'album Aucun mal ne vous sera fait d'Alister.
En 2011, il prête sa voix au groupe électronique Discodeine sur le morceau D-A.
En 2012, il participe à la compilation Yellow Submarine Resurfaces (Mojo Presents A Tribute To The Beatles Classic 1968 Soundtrack), avec la reprise du titre When I'm Sixty-Four.
Le son de Baxter Dury s'appuie sur plusieurs éléments musicaux. Au niveau des voix, il existe un contraste entre d'un côté la voix grave et nonchalante de Baxter Dury[24], parfois chantée et parfois parlée en mode spoken word[25], et des voix plus mélodieuses de chanteuses / choristes féminines. Au niveau des instruments, la basse est très présente et très groove[24], les rythmiques (batterie ou boite à rythme) souvent simples et répétitives[26], et des guitares et claviers saturés et planants[27]. La musique s'inspire de la brit pop des années 90, à laquelle s'ajoutent du shoegaze[10], du noise[11], et des effets de drone[9].