Figlio di un generale prussiano, Reichenau entrò in servizio nel 1903. Prese parte alla Prima guerra mondiale, servendo sul fronte occidentale e meritandosi la Croce di Ferro. Nel 1918 fu promosso capitano. Dopo la fine della guerra, Reichenau rimase nelle file dell'esercito. Nel 1932 un suo zio, ardente nazista, lo presentò a Hitler; conquistato dalla personalità del Führer, Reichenau fu tra i primi esponenti dell'esercito ad abbracciare l'ideologia nazista. Quando nel 1933 i nazisti salirono al potere e Werner von Blomberg divenne ministro della guerra, Reichenau fu nominato capo dell'Ufficio Ministeriale, agendo di fatto come ufficiale di collegamento tra i vertici della Reichswehr e le autorità naziste. Nel 1935 fu promosso tenente generale e comandante delle truppe di stanza a Monaco e quando nel 1938 lo stesso Blomberg fu tolto di mezzo nell'ambito dell'opera di nazificazione dei vertici delle forze armate voluta da Hitler, Reichenau fu candidato a succedergli quale comandante in capo dell'esercito.

Nella campagna polacca fu al comando della X Armata facente parte del Gruppo d'Armate Sud posto sotto il comando del Feldmaresciallo Gerd von Rundstedt, che comprendeva la maggior parte dei reparti corazzati: fu protagonista dell'offensiva su Varsavia che sfondò le linee polacche.

Durante la Campagna di Francia comandò la VI Armata del Gruppo d'Armate B posto sotto il comando del Generale Fedor von Bock e in seguito alla vittoria il 19 luglio 1940 fu nominato Feldmaresciallo. Nel 1941, sempre al comando della VI Armata, prese parte alla Campagna di Russia, nuovamente sotto von Rundstedt nel Gruppo d'Armate Sud. La VI Armata di Reichenau si distinse in questa campagna forzando il passaggio sul fiume Bug. A causa del sopraggiungere dell'inverno e delle difficoltà conseguenti alla progressiva sottrazione di forze che, in base ai nuovi ordini, dovevano divergere verso Mosca, il Gruppo d'Armate di von Rundstedt non poté raggiungere completamente gli obiettivi che si era prefissato. Per questo il Feldmaresciallo chiese a Hitler l'autorizzazione di far ripiegare le truppe per attestare il fronte più indietro. Hitler si rifiutò di concedere l'autorizzazione, esigendo che le truppe continuassero ad avanzare. Rundstedt non si sentì di obbedire a quest'ordine, e chiese di essere sostituito. Hitler allora nominò proprio Reichenau al suo posto. Ma anche il nuovo comandante, benché fedelissimo di Hitler, in sole ventiquattro ore dovette constatare l'impossibilità per le truppe di proseguire oltre, comunicando a Hitler: "i russi stanno penetrando nel fronte tedesco presidiato da forze troppo diluite e assolutamente inadeguate al loro compito. Se vogliamo evitare una catastrofe, dobbiamo raccorciare il fronte, cioè spostarlo indietro, dietro il Mius. Non c'é altra soluzione, mio Führer!" Hitler, dopo aver destituito von Rundstedt appena il giorno precedente, questa volta dovette cedere e autorizzare il ripiegamento.

Reichenau si dimostrò uno dei più fedeli e spietati esecutori sul campo degli ordini di Hitler, volti alla condotta di una guerra selvaggia. Collaborò volentieri con i reparti delle SS che seguivano le truppe con il compito di condurre le pulizie etniche nei territori occupati, e arrivò ad incoraggiare i suoi stessi soldati a commettere atrocità contro gli ebrei e gli slavi (da lui definiti subumani). Il 10 ottobre 1941 Reichenau emanò ordini per "il completo annientamento della falsa dottrina bolscevica dello Stato sovietico e delle sue forze armate e per lo spietato sterminio del perfido e crudele straniero". Per questa sua "devozione alla causa", al momento di silurare Walther von Brauchitsch in seguito ai primi rovesci della campagna di Russia (dicembre 1941), Hitler tentò ancora una volta di affidargli il comando supremo dell'Esercito, ma di fronte al veto impostogli dai comandanti delle truppe al fronte(che sottolinearono come Reichenau fosse a loro avviso "troppo politico"), non poté far altro che assumere egli stesso la carica.

Nel gennaio 1942 Reichenau fu improvvisamente colpito un collasso presso Poltawa, in Russia, e morì subito dopo durante il trasporto aereo in Germania. Il suo posto fu preso da von Bock.