Do roku 1938 spadal pod říšské ministerstvo války (Reichskriegsministerium). V roce 1938 bylo toto ministerstvo zrušeno a jeho agenda - tedy i Abwehr - přešla pod Oberkommando der Wehrmacht (OKW). Od té doby měl Abwehr spíš za úkol sledovat odpůrce Hitlera, protože mnozí lidé, kteří nesympatizovali s nacismem, byli krytí prací. Jejím nejvýznamnějším velitelem byl admirál Wilhelm Canaris od roku 1935 až do roku 1944. V tomto roce začalo SD prošetřovat Abwehr z podezření o napojení na západní spojence.
V roce 1938 provedl Canaris reorganizaci Abwehru rozdělením na tři základní sekce:
Centrální divize (Abteilung Z) měla na starost kontrolu zbylých dvou sekcí, personální složení, finanční záležitosti a platbu agentů. Vedením byl pověřen Generálmajor Hans Oster.
Zahraniční větev (Amtsgruppe Ausland) měla udržovat spojení s OKW, koordinovat vojenské záležitosti s ministerstvem zahraničních věcí a zhodnocovat získané dokumenty, zahraniční tisk a rozhlasové vysílání.[1]
Abwehr I., II. III.
I. oddělení zpravodajská činnost a špionáž
G: falšování dokumentů, laboratoře, výroba tajných inkoustů[2]
Ii: (Funknetz) radiové spojení s agenty v zahraničí[4]
KO: (Kriegsorganisation) řízení konspiračních agentur v zahraničí pro případ války[4]
L: (Luft) shromažďování informací o nepřátelském letectvu, letištích, protiletecké obraně, vyhodnocování fotosnímků[3]
T: (Technik) zprávy o bojové technice, výzbroji a výstroji, získávání jednotlivých kusů zbraní a materiálu[4]
T/lw: (Lufttechnik) sledování rozvoje letecké techniky, stavu leteckého průmyslu, technického a suroviného zabezpečení[4]
W: (Wirtschaft) zpravodajství o zbrojním průmyslu, výzkumu nových druhů materiálů, dopravních prostředků[4]
II. oddělení diverzní akce a sabotáže
Mělo za úkol organizovat diverzní a sabotážní akce, dezorganizovat dopravu a vojenskou výrobu nepřítele. K tomu byli využíváni především Němci žijící v dané zemi, kolaboranti a národnostní menšiny. Oddělení mělo na starosti i rozvratnou propagandu, šíření falešných zpráv a vyvolání paniky.[4]
Skládalo se ze dvou skupin.
Skupina I prováděla veškerou zpravodajskou činnost ohledně národnostních menšin, protistátních organizací a vedla propagandistickou kampaň proti ozbrojeným silám nepřítele.[5]
Skupina II odpovídala za činnost zvláštních sil a jejich organizaci, výběr cílů pro sabotáže.[5]
III. oddělení kontrašpionáž a bezpečnost
Zabývalo se kontrašpionáží jak proti cizím rozvědkám v německé armádě a průmyslu, tak i v zajateckých táborech. K jeho úkolům patřilo také maskování příprav na válku či zmýlení a znejištění protivníka.[6]
H: (Heer) v pozemním vojsku
M: (Marine) v námořnictvu
L: (Luftwaffe) v letectvu
Wi: (Wirtschaft) řízení obranného zpravodajství a opatření proti sabotážím v hospodářství
C: kontrašpionáž v Říši mimo hospodářství a armádu
Později proběhlo rozšíření o skupiny N, K, D, G, U, F, S, Z, Kgf.