Afgezien van een promotie naar de Oberliga West in 1949 kende Die Arminen weinig sportieve successen in het naoorlogse Duitse voetbal. Met degradatie uit de II. Oberliga dreigde een lot in de regionale divisies van het Duitse voetbal – hun Bundesliga-dromen leken verder weg dan ooit. Maar Arminia toonde zich zeer veerkrachtig en begon aan een opmars met promotie naar de Regionalliga West in 1962, wat uiteindelijk culmineerde in het bereiken van het heilige graal van de club: Bundesliga-voetbal in 1970.