Тюремний табір був побудований на місці колишнього німецького військового табору, в якому колись перебували німецькі кавалерійські війська та їх коні. Конюшні з червоної цегли були перетворені в казарми для ув'язнених, коли це місце було перетворено в табір для військовополонених у жовтні 1939 р. Окрім того, також були побудовані додаткові дерев'яні бараки, щоб розмістити все більшу кількість полонених[1].
Дахи будівель в межах табору було позначено абревіатурою «KG» (абревіатура з німецького слова, що означає «військовополонений»). Великі червоні хрести також були намальовані на дахах, щоб літаки союзників не атакували табір.
Розкиданий тюремний комплекс був поділений на частини. По периметру кожної частини було побудовано подвійний паркан з колючого дроту заввишки 4,5 метрів, поверх якого проходив високовольтний провід. Простір між двома огорожами був заплутаною масою колючого дроту. На боці ув'язнених паралельно огорожі проходив дріт, що прилягав до землі приблизно в трьох метрах від огорожі, на шість-вісім сантиметрів над землею. Будь-який чоловік, який ступив між дротом і парканом, був помітним і в нього вистрілювали. Також стояли охоронні вежі, з повністю озброєними та укомплектованими наглядачами.
Першими ув'язненими, привезеними до табору, були поляки, що потрапили в полон під час вторгнення Німеччини в Польщу в 1939 році. По мірі війни війна до Шталагу V-А прибували військовополонені інших національностей. На момент евакуації табору у квітні 1945 р. в таборі були присутні в'язні союзників усіх країн, які воювали проти Німеччини. Найбільша кількість населення в таборі була з СРСР, за нею йшли французькі, бельгійські, голландські, британські, італійські та американські в'язні[2].
1935. На південному краю Людвігсбурга побудований німецький військовий табір. До нього належали склад, 17 казарм та ряд конюшень.
Жовтень 1939 р. Табір у Людвігсбурзі перетворений на табір військовополонених, щоб розмістити поляків, полонених під час німецького вторгнення в Польщу.
Травень 1940 р. Прибули бельгійські, голландські та французькі в'язні, які потрапили в полон під час битви за Францію. Британські в'язні, захоплені в Дюнкерку, також прибувають до табору.
1941—1942 рр. Прибуло багато полонених з СРСР, яких утримували в окремих бараках з набагато суворішим поводженням, ніж до військовополонених з інших країн. Тисячі людей померли від неправильного харчування та хвороб. Більшість солдатів нижчого рангу перевели до трудових таборів у районі для роботи на фабриках, ремонту доріг та залізниць, роботи на фермах.
1944. Після висадки союзників у Нормандії та подальших боїв у Франції американські в'язні починають прибувати до табору. Американських в'язнів утримують у тій же частині табору, де були француи, бельгійці та італійці.
Табір евакуйовано ввечері Великодня, 1 квітня 1945 р. В'язні, затримані в таборі, під час евакуації беруть участь у вимушеному марші через південь Німеччини.
Після закінчення війни тут були розміщені тисячі переселенців, переважно поляків, але їх швидко перевели до постійних будівель (казарм німецької армії) навколо міста.
В нинішній час не збереглося жодної будівлі табору.
