La seva família emigrà a Praga el 1932 i després, el 1938, als Estats Units, fugint del règim nazi. Establiren la seva residència a Nova York i Weiss estudià a la Columbia Grammar School. Es graduà a l'Institut Tecnològic de Massachusetts (MIT) el 1955 i s'hi doctorà el 1962 la tesi Stark Effect and Hyperfine Structure of Hydrogen-flouride dirigida per Jerrold Zacharias. Treballà a la Universitat Tufts entre 1960 i 1962, després realitzà una estada post-doctoral a la Universitat de Princeton entre 1962 i 1964, per a ingressar finalment al MIT el 1964.[1]
Els camps de recerca de Weiss ha estat la caracterització de la radiació còsmica de fons i la detecció d'ones gravitacionals mitjançant interferometria. En el primer camp realitzà mesuraments pioners de l'espectre de la radiació còsmica de fons i, a continuació, fou cofundador i líder intel·lectual del projecte del satèl·lit COBE de la NASA. En l'altre camp Weiss inventà un detector d'ones gravitatòries interferomètric, i fou cofundador, juntament amb Kip Thorne i Ronald Drever, del projecte de detecció d'ones gravitacionals LIGO,[1] que detectà per primer cop aquest tipus d'ones el 14 de setembre de 2015.[2]
El 2017, fou guardonat amb el Premi Nobel de Física juntament amb Kip Thorne i Barry Barish "per contribucions decisives al detector LIGO i l'observació de les ones gravitacionals".[4]