Elliott syntyi Brooklynissä, New Yorkissa, juutalaiseen perheeseen. Hänen uransa suurimpia vaikuttajia oli varhainen opettaja ja tukija Woody Guthrie. Hän oli uransa alkuvaiheissa katusoittaja ja tuli myöhemmin tunnetuksi varsinkin yhteistyöstään Derroll Adamsin kanssa.
Elliott oli arvossa pidetty esittäjä jo 1960-luvulla. Hän voitti vuonna 1995Grammy-palkinnon ensimmäisellä levytyksellään kahteenkymmeneen vuoteen. Hänelle on myönnetty National Medal of Arts vuonna 1998. Hän on jatkanut uraansa Derroll Adamsin kuoleman jälkeen 2000.