Qualifié de géologue amateur, il est pourtant reconnu pour ses travaux dans le domaine alors naissant de l'ichnologie. Son travail se développe à partir de l'étude des roches cambro-ordoviciennes près de son lieu de naissance, menant à la description de nouveaux genres et espèces d'ichnofossiles. Son intérêt précoce pour la géologie a peut-être été inspiré par l'accès local à la collection géologique d'Abraham Gesner.
Matthew est le premier conservateur de la Société d'histoire naturelle du Nouveau-Brunswick. Après la Confédération du Canada en 1867, ses travaux géologiques prennent de l'importance lorsque la Commission géologique du Canada commence, et il travaille à temps partiel pour l'enquête.
1871. Sur la géologie de surface du Nouveau-Brunswick . 19 p.
1882. Illustrations de la faune du groupe de Saint-Jean microforme . 21 p. Trans. Société Royale Canada. (ISBN0-665-27383-5)
1894. Failles post-glaciaires à St. John, N.-B.
1898. Un terrain paléozoïque sous le Cambrien . Ann. NY Academy of Sci., v. 12, Nº 2
1903. Sur des batraciens et d'autres empreintes de pas des Coal Measures de Joggins, N.-É. Taureau. Société d'histoire naturelle. Nouveau-Brunswick 5 : 103-108
1903. Une tentative de classification des empreintes de batraciens paléozoïques . Proc. Trans. Société Royale Canada, 2ª ser. 9(4): 109-121
1903. Nouveaux genres d'empreintes de batraciens du système carbonifère dans l'est du Canada . Registre canadien des sciences 9 : 99-111
1904. Note sur le genre Hylopus de Dawson . Taureau. Société d'histoire naturelle. Nouveau-Brunswick 5 : 247-252
1904. De nouvelles espèces et un nouveau genre d'empreintes de batraciens du système carbonifère dans l'est du Canada . Proc. Société Royale du Canada, 2ª ser. 10 (sect. iv): 77-122
1909. Formes remarquables du groupe Little River . Trans. Société royale du Canada, 3ª ser. 1909-1910, III (sect. iv) : 113-133