Studiò presso l'Università di Budapest (1953-1958), dove nel 1959 ricevette un dottorato. Lavorò in seguito presso il Museo di Budapest (1957-1960), e dal 1960 al 1965 fu professore assistente presso l'Istituto di Storia Antica dell'Università di Budapest. Nel 1965 emigrò in Germania Ovest, dove inizialmente lavorò presso il Rhenanian Bonn State Museum dal 1965 al 1968. Durante questo periodo, Alföldy guadagnò un'abilitazione presso l'Università di Bonn nel 1966, dove lavorò come docente universitario e, infine, come professore ordinario. Nello stesso anno divenne professore di Storia Antica presso la Ruhr University di Bochum. Fu nominato professore di Storia antica presso l'Università di Heidelberg nel 1975 e vi insegnò fino al suo pensionamento nel 2002. Dopo il rinnovo della sua cattedra, Alföldy insegnò come professore supplente fino al 2005.
Nel 2003, ha collaborato come consulente storico per il film storico in due parti Imperium: Augusto, interpretato da Peter O'Toole.
La storiografia di epoca romana imperiale e tardo-antica
La prosopografia romana
Nell'ambito dei suoi studi epigrafici, ha visitato diversi paesi (Albania, Algeria, Austria, Gran Bretagna, Cipro, Egitto, Francia, Grecia, Ungheria, Italia, Giordania, Libia, Portogallo, Spagna, Siria, Turchia, Tunisia e Jugoslavia) al fine di ricercare antiche iscrizioni ancora inedite.
Inoltre è stato professore ospite presso l'Institute for Advanced Study a Princeton (1972/73), a Roma (1986 e 2003), a Parigi (1991), a Poznań (1992), a Budapest (1993), e anche a Barcellona nel 1997 e 1998. Inoltre ha tenuto diverse lezioni accademiche e supervisionato decine di studiosi durante i loro dottorati sia in Germania, sia all'estero. Alföldy è stato anche coeditore di decine di riviste accademiche internazionali e periodici: il suo nome è però soprattutto associato con la rivista "Althistorische Heidelberger Beiträge und Epigraphische Studien" (HABES). Alföldy è stato membro corrispondente e membro onorario di più società accademiche. Alföldy ha collaborato anche con molti altri istituti di ricerca tedeschi: la Deutsche Forschungsgemeinschaft e l'Istituto archeologico tedesco, come pure presso strutture italiane, francesi e spagnole per la ricerca del mondo classico.
Die Hilfstruppen der römischen Provinz Germania inferior. Rheinland-Verlag, Düsseldorf 1968 (Epigraphische Studien 6).
Fasti Hispanienses. Senatorische Reichsbeamte und Offiziere in den spanischen Provinzen des römischen Reiches von Augustus bis Diokletian. Steiner, Wiesbaden 1969.
Die Personennamen in der römischen Provinz Dalmatia. Winter, Heidelberg 1969 (Beiträge zur Namenforschung, Beiheft 4).
Römische Sozialgeschichte. Steiner, Wiesbaden 1975, ISBN 3-515-02045-4(Wissenschaftliche Paperbacks Sozial- und Wirtschaftsgeschichte Bd. 84). 4., völlig überarbeitete und aktualisierte Auflage: Steiner, Stuttgart 2011, ISBN 978-3-515-09841-0.
Die Römischen Inschriften von Tarraco. de Gruyter, Berlin 1975, ISBN 3-11-004403-X (Madrider Forschungen 10).
Los Baebii de Saguntum. Servicio de Investigacion Prehistorica, Valencia 1977.
Konsulat und Senatorenstand unter den Antoninen. Prosopographische Untersuchungen zur senatorischen Führungsschicht. Habelt, Bonn 1977.
Die Rolle des Einzelnen in der Gesellschaft des Römischen Kaiserreiches. Erwartungen und Wertmaßstäbe. Universitätsverlag Carl Winter, Heidelberg 1980 (Sitzungsberichte der Heidelberger Akademie der Wissenschaften Jahrgang 1980, 8).
Sir Ronald Syme, 'Die römische Revolution' und die deutsche Althistorie. 1983.
Römische Statuen in Venetia et Histria: Epigraphische Quellen. Universitätsverlag C. Winter, Heidelberg 1984 (Abhandlungen der Heidelberger Akademie der Wissenschaften. Philosophisch-Historische Klasse Jahrgang 1984, 3 ).
Römisches Städtewesen auf der neukastilischen Hochebene. Ein Testfall für die Romanisierung. Universitätsverlag C. Winter, Heidelberg, 1987 (Abhandlungen der Heidelberger Akademie der Wissenschaften Jahrgang 1987, 3).
Der Obelisk auf dem Petersplatz in Rom. Ein historisches Monument der Antike. Heidelberg 1990.
Die Bauinschriften des Aquäduktes von Segovia und des Amphitheaters von Tarraco. de Gruyter, Berlin 1997, ISBN 3-11-014418-2 (Madrider Forschungen 19).
Ungarn 1956. Aufstand, Revolution, Freiheitskampf. 2. Auflage. Universitätsverlag C. Winter, Heidelberg 1998, ISBN 3-8253-0553-8 (Schriften der Philosophisch-historischen Klasse der Heidelberger Akademie der Wissenschaften 2).
Die römische Gesellschaft. Ausgewählte Beiträge. Steiner, Stuttgart 1998.
Die Krise des Römischen Reiches. Steiner, Stuttgart 1998.
Städte, Eliten und Gesellschaften in der Gallia Cisalpina. Epigraphisch-historische Untersuchungen. Steiner, Stuttgart 1999.
Das Imperium Romanum - ein Vorbild für das vereinte Europa? Schwabe, Basel 1999 (Jacob-Burckhardt-Gespräche auf Castelen 9).
Provincia Hispania superior Universitätsverlag C. Winter, Heidelberg 2000 (Schriften der Philosophisch-historischen Klasse der Heidelberger Akademie der Wissenschaften 19).
mit Silvio Panciera (Hrsg.): Inschriftliche Denkmäler als Medien der Selbstdarstellung in der römischen Welt. Steiner, Stuttgart 2001.