Le nom du groupe constitue un jeu de mots entre le nom the scene (la scène) et l'expression seldom seen (rarement vu), qui renvoie au fait que le groupe se produit assez peu au départ : chaque membre du groupe ayant d'autres activités professionnelles, ils se contentent de jouer un concert hebdomadaire[2].
The Seldom Scene est un groupe à la longévité remarquable ; mais sa composition évolue considérablement au fil des années. John Starling est le premier à quitter le groupe en 1977 pour se consacrer pleinement à son métier de médecin. Plusieurs guitaristes lui succèdent au fil des années, dont Phil Rosenthal, Lou Reid (qui passera plus tard à la mandoline) ou encore Dudley Connell. Michael Coleman puis Ronnie Simpkins tiennent successivement la contrebasse, tandis que Fred Travers devient en 1995 le joueur attitré de Dobro.
Un choc très rude survient en 1996, lors du décès brutal de John Duffey, cofondateur et pilier du groupe. Les Seldom Scene décident toutefois de continuer à jouer, grâce notamment au retour de Lou Reid qui lui succède à la mandoline.
Le seul musicien d'origine, toujours actif dans le groupe plus de quarante ans après sa création, est le banjoïste Ben Eldridge[1].