Il cantante Joe Talbot e il bassista Adam Devonshire si conobbero ai tempi del college a Exeter. A Bristol erano gestori e proprietari del club indie 'The Batcave' dove suonavano e il bassista Adam Devonshire faceva il dj. Sulla base di quell'esperienza decisero di fondare un gruppo musicale; l'EP Welcome del 2012 segnò il debutto sul mercato musicale seguito da Meat, and Meta, un EP di remix del 2015.
Nel 2017 venne pubblicato il primo disco, Brutalism, che riceve riconoscimenti e viene considerato da molte riviste specializzate fra i dischi di maggiore impatto sul mercato inglese di quell'anno[2] e li porta ad aprire presso la prestigiosa O2 Arena il concerto londinese dei Foo Fighters.[3][4]
Nel 2018 pubblicano Joy as an Act of Resistance, il quale viene acclamato fra i migliori dischi dell'anno.[5][6]
Nel 2020 viene pubblicato Ultra Mono che rapidamente scala le classifiche fino a diventare il disco più venduto in Inghilterra[7] e far suonare il gruppo in diretta sul canale BBC 6.[8]
Il 28 settembre 2021 la band ha annunciato il nuovo album Crawler sui canali social, facendo uscire anche il videoclip del singolo The Beachland Ballroom.
Il 16 febbraio 2024 è uscito il quinto album Tangk.[9]
La musica della band è stata associata al punk rock e generi correlati tra cui post-punk, hardcore punk e post-hardcore. Il cantante Joe Talbot, tuttavia, rifiuta tutte queste etichette, e se proprio deve trovare un genere alla band, sarebbe "heavy post-punk".
I loro testi sono caratterizzati da una visione fortemente progressista e parlano di vulnerabilità, accoglienza, immigrazione e fratellanza.[10][11]