Die erste Straße zwischen Oppenau und Freudenstadt entstand 1742/43 und führte über den Roßbühl.
Als erste Teilstrecke in Württemberg wurde die Landstraße zwischen Reutlingen und Tübingen bereits 1787 zu einer Chaussee ausgebaut. Ab 1805 wurden auch die übrigen Streckenabschnitte zu einer durchgehenden Kunststraße ausgebaut. Die Straße zwischen Herrenberg und Tübingen entstand 1806.
Nach der Übernahme des oberen Renchtals durch das Großherzogtum Baden wurde die heutige Streckenführung von Oppenau über Peterstal nach Griesbach in den Jahren 1806 bis 1813 gebaut.
Das Verzeichnis der Landstraßen in Baden vom 1. Juli 1901 teilt die heutige Bundesstraße 28 in zwei Teilstrecken:
Die alte Verbindungsstraße zwischen Straßburg und Freudenstadt, die ab Oppenau über den Roßbühl führte, wurde als badische Staatsstraße Nr. 25 bezeichnet.
Die obere Renchtalstraße zwischen Oppenau und Kniebis, die der heutigen Bundesstraße 28 entspricht, wurde als badische Staatsstraße Nr. 26 bezeichnet.
Die Bundesstraße 28 trug vor 1932 verschiedene Nummern:
Land
Staatsstraße
Länge
Verlauf
Baden
Nr. 25
23,2 km
Sand–Landesgrenze(–Freudenstadt)
Baden
Nr. 26
19,7 km
Oppenau–Griesbach–Kniebis
Württemberg
Nr. 105
12,1 km
(Oppenau–)Kniebis–Freudenstadt
Württemberg
Nr. 99
36,2 km
Freudenstadt–Herrenberg(–Stuttgart)
Württemberg
Nr. 85
30,5 km
(Calw–)Herrenberg–Tübingen
Württemberg
Nr. 77
10,0 km
Tübingen–Reutlingen
Württemberg
Nr. 71
6,9 km
Reutlingen–Metzingen
Württemberg
Nr. 43
11,0 km
(Stuttgart–)Metzingen–Bad Urach(–Biberach)
Württemberg
Nr. 44
15,8 km
Bad Urach–Feldstetten
Württemberg
Nr. 45
22,7 km
(Plochingen–)Feldstetten–Ulm
Bei der Einführung des Nummerierungssystems für die Straßen in Deutschland im Jahre 1932 wurde die Strecke Fernverkehrsstraße 28 (FVS 28) genannt. Seit der Einrichtung des Reichsstraßennetzes (1934) wurde sie mit Reichsstraße 28 (R 28) bezeichnet. Während der deutschen Besetzung des Elsass (1940–1944) wurde die R 28 von Straßburg bis Saarbrücken verlängert. Noch nach dem Anschluss des Saarlandes an die Bundesrepublik Deutschland im Jahre 1957 existierten in der Mainzer Straße in Saarbrücken die gelben Schilder mit der Nummer 28. Heute ist diese Straße Teil der Bundesstraße 51.
Ab 1967 wurde die Bundesstraße 28 zwischen Reutlingen und Tübingen zu einer Schnellstraße ausgebaut.
Auch der Abschnitt zwischen Kehl und Appenweier (Autobahnkreuz) wurde zu einer Schnellstraße ausgebaut
In Tübingen änderte sich 1979 durch den Bau des vierspurigen Schlossbergtunnels der innerstädtische Verlauf der B 28, die die Innenstadt dort seitdem westlich und südlich umfährt.
Ab Oktober 2008 wurde in Freudenstadt ein zwei Kilometer langer Abschnitt der B 28 vierspurig ausgebaut.
Von Tübingen Richtung Rottenburg besteht ein ca. 2 km langes vierspuriges Teilstück.
Seit Januar 2018 hat die B 28 zwischen Dornstetten und Tübingen einen geänderten Verlauf. Die alte B 28 von Dornstetten über Altensteig nach Herrenberg wurde zu Landesstraßen abgestuft, zwischen Herrenberg und Tübingen zur B 296 umgestuft. Die B 28 verläuft seitdem über die ehemalige B 14 und B 28a (Dornstetten – Horb am Neckar – Rottenburg am Neckar – Tübingen).
Am 26. August 1921 wurde nahe der heutigen B 28 der ehemalige Reichsfinanzminister Matthias Erzberger von Angehörigen der rechtsextremistischen Organisation Consul ermordet. In einer Kehre der B 28 zwischen Bad Griesbach und Freudenstadt erinnert ein Gedenkstein an diese Bluttat. Er trägt die schlichte Inschrift:
Ortsumgehung Ergenzingen, 4,8 km (fertiggestellt 2007[9])
3-streifiger Ausbau und Neutrassierung zwischen Seebronn und Rottenburg, ca. 4,7 km (Entwurfsplanung[10])
Neubau zwischen Rottenburg und Tübingen inklusive Ausbau der Osttangente Rottenburg, 8,0 km (im Bau), zwischen Bühl und Tübingen 2020 fertiggestellt[11]
Neubau der Ortsumgehung Metzingen (1. Bauabschnitt Umfahrung Neuhausen, 2-streifig), 2,8 km (fertiggestellt 2003[12])
Neubau der Ortsumfahrung Metzingen (2. Bauabschnitt, 4-streifig), 3,4 km (fertiggestellt 2011[12])
Ortsumgehung Feldstetten (keine Aufnahme in BVWP[13])
Ortsumgehung Blaubeuren/Gerhausen, 2,0 km (Weiterer Bedarf mit Planungsrecht[14])
Ortsumgehung Blaustein, 3,4 km (Weiterer Bedarf[15])
Auf dem Streckenverlauf zwischen Stadtgrenze Ulm und Autobahndreieck Hittistetten ist die vierspurige Bundesstraße als Autobahn beschildert. Eine Nummerierung der Anschlussstellen fehlt.
Die Verbindung war als Teil der Bundesautobahn 80 geplant, die von Germersheim über Stuttgart und Ulm zum Autobahndreieck Hittistetten verlaufen sollte. Die Ausführung als Autobahn wurde inzwischen verworfen.
Paul Burgard/Ludwig Linsmayer: 50 Jahre Saarland. Historische Beiträge des Landesarchivs Saarbrücken. Hrsg.: Landesarchiv Saarbrücken. Band5. Saarbrücken 2007, ISBN 978-3-9808556-7-9 (Foto S. 17).