La literatura experimental és un nom genèric que agrupa diverses pràctiques contemporànies de la literatura, siguin en forma de relat, novel·la o poesia, que posen l'èmfasi formal en la innovació, especialment pel que fa a la tècnica literària. El mot novel·la experimental aparegué per primer cop en els escrits teòrics d'Émile Zola, que pretenia realitzar una forma de literatura sociològica que posés en pràctica el mètode científic del naturalisme.[1] L'obra de Zola que recopila els seus escrits es titula Le Roman expérimental, de 1880. Avui en dia, si més no, el terme s'empra per oposició al realisme, i per a definir una literatura guiada pel formalisme, la imaginació i les formes no tradicionals de relat.
Se sol considerar que la primera novel·la experimental és Tristram Shandy de l'anglès Laurence Sterne (1759). Malgrat tot, es tracta d'un text tan primerenc en la història de la novel·la moderna que és difícil parlar de com aquesta novel·la desafia o trenca les convencions literàries, ja que aquestes convencions no s'havien acabat d'establir. La seva burla de les formes de narració tradicionals, el seu ús d'elements gràfics i no textuals (per exemple, una pàgina tota pintada de negre per significar la mort d'un personatge) i les instàncies de trencament de la "quarta paret" en el text han convençut molts crítics que es tracta d'una novel·la de caràcter experimental, especialment a partir de la Segona Guerra Mundial. En la seva època, però, va aconseguir detractors. Samuel Johnson és citat per James Boswell dient: "Allò merament estrany no dura. Tristram Shandy no podia durar." Jacques el Fatalista de Denis Diderot pren molts elements de l'obra de Sterne, cosa que no s'amaga en el text, el qual s'ha considerat una forma primitiva de metaficció.
A la dècada del 1910, l'experimentació en totes les arts va aconseguir veritable embranzida, i un bon nombre d'escriptors i artistes d'Europa i Amèrica van iniciar una tasca revolucionària sobre formes artístiques donades. Les tendències que es formaren durant aquest període més endavant esdevingueren part del moviment modernista (en el sentit anglosaxó del terme; anglès: modernism). Els cants d'Ezra Pound, l'obra posterior a la Primera Guerra Mundial de T. S. Eliot i la prosa i teatre de Gertrude Stein són alguns dels textos clau de la dècada, tot i que la novel·la Ulisses de James Joyce es considera l'obra principal del moment. Aquesta novel·la va tenir filiació experimental com les obres de Virginia Woolf i John Dos Passos, si bé també va influir altres autors menys interessats en la innovació formal com Ernest Miller Hemingway.
Els moviments de l'avantguarda històrica van contribuir al desenvolupament de la literatura experimental a principis i meitat del segle xx. Tristan Tzara i els seguidors del moviment dadà van ser uns dels primers a fer servir retalls de diari i tipografia experimental en els seus manifests. El futurisme de F. T. Marinetti prometia una teoria de "paraules en llibertat", acabant amb les fronteres del relat convencional i el format del text en si mateix, com en la "novel·la" Zang Tumb Tumb. Els escriptors, poetes i artistes del surrealisme també van aplicar tècniques inusuals per evocar estats preconscients o inconscients o els processos onírics, místics o induïts per les drogues. Alguns exemples importants són els textos col·laboratius Les Champs Magnétiques d'André Breton i Philippe Soupault o la "novel·la somiada", produïda per Robert Desnos en estat d'hipnosi.
A finals de la dècada del 1930, la situació política a Europa va fer que les avantguardes semblessin inadequades, massa estetitzades i fins i tot irresponsables davant dels perills del feixisme internacional, i la moda de l'experimentació literària va decaure considerablement, deixant pas a certs tipus de realisme i art polititzat, si bé alguns visionaris com Kenneth Patchen continuaren produint art experimental. A la dècada del 1950, els escriptors de la generació beat van sorgir com una reacció a la domesticada literatura de la prosa i poesia del seu temps, i els textos místics de Jack Kerouac i Allen Ginsberg representaren una nova aproximació formal als mètodes de composició.
L'esperit de les avantguardes europees va reaparèixer amb el grup lletrista i els seus manifests, poemes i pel·lícules que exploraven les fronteres de la llengua escrita i la parlada. El grup Oulipo (en francès, Ouvroir de la littérature potentielle o Taller de la literatura potencial) va reunir artistes, escriptors i matemàtics en una reelaboració combinatòria dels mètodes de producció textual. El grup fou fundat per Raymond Queneau i inclogué autors com Italo Calvino i Georges Perec, autor de La vide, mode d'emploi.
La dècada del 1960 va propiciar un retorn a l'experimentació i va posar les bases del postmodernisme. Naked Lunch de William S. Burroughs és una obra clau del període, i la publicitat que resultà del procés per obscenitat contra l'autor va posar en evidència el nou gust i admiració per la llibertat extrema i sense censures. Burroughs també va innovar amb l'estil anomenat cut-up, combinant textos retallats i tornats a enganxar de diaris o manuscrits per aconseguir línies senceres. Cap a finals de la dècada, els grups experimentals eren tan nombrosos que fins i tot els autors més convencionals en estil com Bernard Malamud o Norman Mailer es van veure influïts pels usos innovadors de l'època. La metaficció és ubiqua en aquesta època, com es pot veure en les obres de John Barth i Jorge Luis Borges. El 1967, Barth publica l'assaig La literatura de l'exhauriment, que es considera sovint un manifest del postmodernisme. Gravity Rainbow de Thomas Pynchon va ser un best-seller experimental del període, mentre que els relats de Donald Barthelme, Robert Coover i Ronald Sukenick van aconseguir força èxit en la dècada. Altres escriptors de caràcter experimental dels anys 70 i dècada del 1980 foren Italo Calvino, Michael Ondaatje i Julio Cortázar. Entre les obres més conegudes de Calvino hi ha Si en una nit d'hivern un viatger, en què els capítols mostren el lector preparant-se per llegir un llibre anomenat Si en una nit d'hivern un viatger, i d'altres componen la narrativa.
David Foster Wallace i Rick Moody combinen alguns dels jocs experimentals dels anys 60 amb un sentit de l'humor més proper a la desvinculació emocional i certa tendència a una escriptura accessible i la ironia. La broma infinita de Wallace és una obra maximalista que descriu la vida en una acadèmia de tennis i un centre de rehabilitació. Les digressions esdevenen noves línies argumentals, i el llibre conté més de 100 pàgines de notes al peu. Altres autors com Nicholson Baker han tendit més cap al minimalisme en novel·les com The Mezzanine, en què un home puja escales automàtiques durant 140 pàgines. L'autor americà Mark Danielewski combina elements de la novel·la de terror amb un estil acadèmic i experimentació tipogràfica en House of Leaves.
A començaments del segle xxi, la major part de formes de literatura experimental posen de manifest la influència de les noves tecnologies digitals i informàtiques, tant en format com en contingut. Han aparegut formes i moviments com la literatura electrònica, el treball sobre l'hipertext i l'anomenat codework.
En català, Núria Perpinyà ha realitzat diversos experiments amb gèneres literaris, combinant novel·la i conte; i novel·la i teatre.