Zu seinen bekanntesten Bauten zählt die Kunstgalerie Listaskáli (1970) und ihre Erweiterung zum Nationalen Kunstmuseum 1993. Als Grafiker hat er nicht nur eine Reihe Briefmarken für das Postverk Føroya gestaltet, sondern auch Bücher illustriert. Seine Hauptmotive sind Stadt- und Dorfansichten, nicht nur von den Färöern, sondern auch von seinen Reisen, u. a. Russland, Polen, Rom und Ägypten.
Für sein vierbändiges Werk über die Kirchen der Färöer (1995–1999) erhielt er 1998 den Färöischen Literaturpreis (M.A. Jacobsens Heiðursløn). Es ist sein bibliophiles Meisterwerk, luxuriös illustriert und gleichzeitig ein Buch über die Kirchengeschichte der Färöer und die Geschichte der Färöer aus lokaler Sicht. Gregoriussen war auch maßgeblicher Berater bei der Restaurierung färöischer Kirchen.
Tórshavn, vár miðstøð og borg. Gøta: Aldan, 1989 (110 S., Zeichnungen aus Tórshavn)
Jógvan Arge: Havnarmenn í Gundadali: Havnar Bóltfelag 1904-1954. Tórshavn: Havnar Bóltfelag, 1994. (256 S., Festschrift "90 Jahre HB Tórshavn")
Kirkjurnar í Føroyum. auf Färöisch in vier Bänden. Der Autor hat die Bücher reich illustriert (preisgekröntes Standardwerk)
Gomlu trækirkjurnar. Velbastað: Forlagið í Støplum, 1995 ISBN 99918-914-0-4 (227 S. über die alten Holzkirchen) Info
Eldru hválvkirkjurnar. Velbastað: Forlagið í Støplum, 1997 ISBN 99918-914-1-2 (308 S. über die älteren Gewölbekirchen; englische Zusammenfassung The Old Vaulted Churches, S. 306–308) Info
Yngru hválvkirkjurnar. Velbastað: Forlagið í Støplum, 1998. ISBN 99918-914-2-0 (316 S. über die jüngeren Gewölbekirchen; englische Zusammenfassung The New Vaulted Churches, S. 314–316) Info
Nýggjaru kirkjurnar. Velbastað: Forlagið í Støplum, 1999 ISBN 99918-914-3-9 (326 S. über die neueren Kirchen; englische Zusammenfassung Modern Churches in Faroe, S. 324–326) Info
Tórshavn vár miðstøð og borg II: tekningar úr Havn. Velbastað: Forlagið í Støplum, 2000. ISBN 99918-914-4-7 (104 S., Zeichnungen aus Tórshavn, darunter 85 Farbzeichnungen, 2. Band. Zusammenfassungen auf Dänisch und Englisch)
Um heimsins borgir. Velbastað: Forlagið í Støplum, 2002. ISBN 99918-914-5-5 (112 S., "Über die Prachtbauten der Welt")
Gunnar Hoydal, Palle Dyreborg, Curt von Jessen, Karen Zahle, Kim Dirckinck-Holmfeld: Færøsk arkitektur = Architecture on the Faroe Islands. Kopenhagen: Arkitektens Forlag, 1996. ISBN 87-7407-159-9 (166 S., Dänisch und Englisch)