Aparte del ascenso a la Oberliga West en 1949, el Die Arminen tuvo pocos éxitos deportivos en el fútbol de la Alemania de la posguerra. Con el descenso de la II. Oberliga, se avecinaba un destino en las categorías regionales del fútbol alemán, y sus sueños de llegar a la Bundesliga parecían más lejanos que nunca. Pero, mostrando una gran capacidad de recuperación, el Arminia inició su remontada con el ascenso a la Regionalliga West en 1962, que culminó finalmente con la consecución del santo grial del club, la Bundesliga, en 1970.