Specht plante und baute im Allgäu und in Oberschwaben eine große Zahl von Bauwerken.
Dazu zählen auch Wasserwerke, Brücken, Mühlen, Wohn- und Ökonomiegebäude sowie Schlösser und Kirchen.
Sein Hauptwerk fand er 1771 in der Wiblinger Klosterkirche St. Martin, die er zwar plante und begann, aber nicht fertigstellen durfte. Der bayerische Baumeister, Maler und spätere kurtrierische Hofmaler Januarius Zick hatte bereits vor 1783 das Vertrauen des Auftraggebers erworben und erreicht, dass er selbst mit dem Weiterbau beauftragt und Specht entlassen wurde.
1764: verschiedene Brücken, Bau der alten Pfarrkirche (Aureliuskirche) in Lindenberg im Allgäu
1765: Pfarrhof in Heimenkirch, Feldkapelle in Mittelbiberach, Schlosskapelle in Rimpach (heute Stadtgebiet von Leutkirch, Ortsteil Friesenhofen), Kirche in Eglofs (–1766)
Ein Allgäuer Barockbaumeister. Johann Georg Specht. (Allgäuer Heimatbücher, 6), Verlag für Heimatpflege, Kempten (Allgäu) 1977.
Bilger, Hugo; Scheller Ludwig: Ein Baumeister des Allgäus am Ende der Barockzeit: Johann Georg Specht. Zeichnungen von Günther Scheller. Verlag für Heimatpflege, Kempten (Allgäu) 1977. Reihe „Allgäuer Heimatbücher“, 79. Band.
↑Hin und wieder wird auch 1720 als Geburtsjahr genannt. Hier handelt es sich um den Erstgeborenen, der jedoch kurz nach der Geburt starb. Nach Brauch und Sitte erhielt der Zweitgeborene den gleichen Namen – meist den des Paten (siehe Literatur Bilger 1977, Seite 13)