Bei dem kommunalen Zusammenschluss 1975 mit Letmathe gab es auch dort eine Altenaer Straße, die jedoch als Bundesstraße 236 unmittelbar auf Altena zuführte. Deshalb wurde es erforderlich, diese Straße in Iserlohn umzubenennen.
Der heutige Straßenname erinnert an den „Königlichen Baurat“ Albert Ludorff (1847–1910). Er war der erste Landeskonservator der damaligen Provinz Westfalen. Bekannt geworden ist er als Verfasser der Buchreihe „Bau- und Kunstdenkmäler von Westfalen“, in der er die Denkmale wissenschaftlich erfasste und mit detaillierter bildlicher Darstellung versah. Im Jahre 1900 erschien der Band „Kreis Iserlohn“.
2019 im Auftrag des Stadtarchivs Iserlohn redigierter Auszug aus:
Holtmeier, Hermann; Reinertz, Manfred: Iserlohner Straßennamen erzählen, hrsg. vom Förderverein Iserlohner Museen e.V., Iserlohn 2009 (Beiträge zur Heimatkunde für Iserlohn und den märkischen Raum; Band 19)