La línea de sucesión del patriarcado se remonta a los primeros obispos cristianos de Jerusalén, el primero fue Santiago el Justo en el siglo I. En el 451 el Concilio de Calcedonia le concedió a Jerusalén autocefalía y en el 531 fue reconocido como uno de los cinco patriarcados iniciales.
Con referencia a la importancia de Jerusalén en la Cristiandad, la Catholic Encyclopedia indica:
Durante los primeros siglos cristianos la iglesia en este sitio fue el centro de la Cristiandad en Jerusalén, "Santo y glorioso Sion, madre de todas las iglesias." Ciertamente ningún sitio de la Cristiandad puede ser más venerable que el lugar donde se llevó a cabo la Última Cena, que se convirtió en la primera iglesia cristiana.[2]
El Concilio de Calcedonia en el 451 elevó al obispo de Jerusalén al rango de patriarca. Sin embargo, la política bizantina hizo que Jerusalén pasara de la jurisdicción del patriarcado de Antioquía a las autoridades griegas en Constantinopla. Durante siglos, el clero de la ortodoxia oriental, como por ejemplo la Hermandad del Santo Sepulcro, dominó la iglesia de Jerusalén. A causa de la Primera Cruzada en 1099, se creó el patriarcado latino de Jerusalén y los patriarcas ortodoxos griegos se exiliaron en Constantinopla hasta 1187, cuando el patriarca latino fue obligado a huir de la región y se convirtió en un patriarca titular, residiendo en Roma hasta tiempos modernos.