A parte la promozione nella Oberliga West nel 1949, Die Arminen ha ottenuto pochi successi sportivi nel calcio tedesco del dopoguerra. Con la retrocessione dalla II. Oberliga, si profilava il destino delle serie regionali del calcio tedesco e i sogni di Bundesliga sembravano più lontani che mai. Ma grazie alla sua grande tenacia, l'Arminia iniziò la sua risalita con la promozione nella Regionalliga West nel 1962, che culminò nel 1970 con il raggiungimento del sacro Graal del club: la Bundesliga.