Mis à part une promotion en Oberliga West en 1949, Die Arminen a connu peu de succès sportifs dans le football allemand d'après-guerre. Avec la relégation de la II. Oberliga, un destin dans les divisions régionales du football allemand se profilait à l'horizon, et leurs rêves de Bundesliga semblaient plus éloignés que jamais. Mais faisant preuve d'une grande résilience, l'Arminia a entamé son ascension avec une promotion en Regionalliga West en 1962, qui a finalement abouti à la réalisation du Saint Graal du club, la Bundesliga, en 1970.