Da han var tolv år gammel flyttet familien til Bergen hvor faren ble byfogd. Etter studier i Kristiania studerte Gerhard ved musikkonservatoriet i Paris fra 1878, blant annet med Jules Massenet. I studietiden turnerte han som cellist sammen med sine søstre Margrete (fiolin) og Henriette (piano). To andre søsken var kunstmalererne Leis Schjelderup og Georg Schjelderup.
Vendepunktet i Gerhard Schjelderups liv kom da han hørte Wagners Nibelungenringen i Karlsruhe i 1887. Etter denne opplevelsen viet han all sin tid til musikkdramaet, og ble Norges mest produktive operakomponist. Første akt av Schjelderups første opera, «Austanfyre sol og vestanfyre måne», ble oppført i München i 1890.
Han bosatte seg i Benediktbeuern i Oberbayern og ble professor i München og Dresden. Fra 1900 fikk han statens kunstnerlønn. Han skrev den første biografien om Edvard Grieg og var bidragsyter i nordiske og tyske aviser og tidsskrifter. Han ble fire ganger oppført i Norge.[klargjør] Gerhard Schjelderup var pådriver i stiftelsen av Norsk komponistforening. Han ble også organisasjonens første leder og utga den første norske musikkhistorie: Norges Musikhistorie i 1921 (med O.M. Sandvik)[8].[9]