Sheppard ble født i Warminster, Wiltshire i 1957.[2] I en alder av 19 år dukket han opp som musiker i Salisbury-baserte moderne jazzkvartetten Sphere i slutten av 1970-åra, og var med på gigger bare tre uker etter at han startet å spille.[2][3]Han finslipte sine saksofonferdigheter på jazzklubber i Storbritannia og Europa i 1980-åra. Han har også spilt med verdensmusikk-orkestre[4][5][6]og med mer etablerte improvisatører som Keith Tippett. Mens han fortsatt var med i Sphere, flyttet Sheppard til Paris, der han arbeidet med de franske bandene Lumière and Urban Sax.
På midten av 1980-tallet vendte Sheppard tilbake til Storbritannia og spilte ofte på Ki Longfellow-Stanshalls og Vivian StanshallsBristol-baserte Old Profanity Showboat, og platedebuterte med et soloalbum under eget navn, der han briljerer i samspill med Randy Brecker og Steve Swallow, som også produserte albumet. Albumet ble godt mottatt og gjorde at Sheppard ble tildelt nykommer-prisen ved British Jazz Awards i 1987, etterfulgt av beste instrumentalist-prisen i 1988.[7] I 1987 ble Sheppard med i George RussellsLiving Time Orchestra og turnerte med Gil Evans.[3]
Det andre solo albumet hans, Introductions In The Dark, ble sluppet i 1989. Albumet kom på de britiske hitlistene noe som var svert uvanlig for en jazz plate. Som en følge av dette ble Sheppard tildelt prisene for Beste album og Beste instrumentalist i British Jazz Awards 1989,[7] og ble gjenstand for oppmerksomhet fra fjernsyn med dokumentarer både i BBC og ITV, og turnerte verden med den første Verdens jazz group for å spille i Ytre Mongolia.[7]
Sheppard dannet sitt første storband, Soft On The Inside Band, og i 1990 slapp de et album med samme navn. Bandet inneholdt mange kjente jazzmusikere, som Han Bennick trommer, Claude Deppa trompet og Gary Valente trombone. Dette bandet ble til Co-Motion, som fikk med Steve Lodder keyboards og Sylvan Richardson bass, og ga ut et album i 1991 under eget navn. Etter dette signerte Sheppard en avtale med Blue Note, som utga albumet Rhythm Method i 1993. Co-Motion bandet ble utvidet i denne anledningen og kalte seg Big Co-Motion. De spilte inn et live-album i LondonjazzklubbenRonnie Scotts Jazz Club, Delivery Suite, som ble utgitt av Blue Note i 1994.
Andy Sheppard (1987), med Randy Brecker, Dave Buxton, Dave Defries, Paul Dunmall, Nick Evans, Simon Gore, Mamadi Kamara, Pete Maxfield, Orphy Robinson, Rick Smith og Jerry Underwood
Introductions in the Dark (1989), med David Adams, Dave Buxton, Simon Gore, Mamadi Kamara, Steve Lodder, Pete Maxfield, Orphy Robinson og Chris Watson
Soft on the Inside (1990), med Han Bennink, Chris Biscoe, Dave Buxton, Claude Deppa, Simon Gore, Pete Hurt, Mamadi Kamara, Steve Lodder, Pete Maxfield, Ernst Reijseger, Kevin Robinson, Orphy Robinson, Gary Valente og Mano Ventura
66 Shades of Lipstick (1990), med Keith Tippett og produsert av Robert Fripp
In Co-Motion (1991), med Claude Deppa, Steve Lodder, Sylvan Richardson, jr. og David Adams
Rhythm Method (1993), with David Adams, Julian Argüelles, Claude Deppa, Steve Lodder, Sylvan Richardson jr., Kevin Robinson, Ashley Slater, Jerry Underwood and Gary Valente
Delivery Suite (1994), with David Adams, Julian Argüelles, Claude Deppa, Steve Lodder, Sylvan Richardson Jr., Kevin Robinson, Ashley Slater, Jerry Underwood og Gary Valente
Inclassifiable (1995) - Andy Sheppard, Steve Lodder og Nana Vasconcelos
Moving Image (1996) - Andy Sheppard og Steve Lodder, med Dudley Philips, Mark Mondesir, Johnny Taylor, Richard Ajileye, Bosco d'Olivera
Learning to Wave (1998), med Paul Clarvis, Chris Laurence, Steve Lodder, John Parricelli og Sharda Sahai
Dancing Man & Woman (2000), med Kuljit Bhamra, Paul Clarvis, Steve Lodder, Chris Laurence, John Parricelli og Steve Swallow
Nocturnal Tourist (2001), med John Parricelli
Music for a New Crossing (2001) - Andy Sheppard & Kathryn Tickell
^abc«Classics with a twist»(Subscription required). Bristol Evening Post, archived at LexisNexis. Bristol, England: Bristol News and Media. Besøkt 19. mars 2010.