Vermutlich erhielt die Straße ihren Namen durch die benachbarten Vikariehäuser an der Wiemer. Der Pastorenweg liegt am Kinderheim östlich des Bethanien-Krankenhauses. Hier wurde 1777 das erste ev. Kinderheim errichtet, das neben der städtischen auch unter kirchlicher Aufsicht stand. Anzunehmen, aber nicht belegt ist auch, dass vermutlich die Pastoren die dort lebenden und arbeitenden Kinder öfters als die Beamten der Stadt (sie hatten ja einen kürzeren Weg von der Altstadt aus) besuchten, sodass sich im Volksmund der Name Pastorenweg einbürgerte, der später auch offiziell übernommen wurde.
2019 im Auftrag des Stadtarchivs Iserlohn redigierter Auszug aus:
Holtmeier, Hermann; Reinertz, Manfred: Iserlohner Straßennamen erzählen, hrsg. vom Förderverein Iserlohner Museen e.V., Iserlohn 2009 (Beiträge zur Heimatkunde für Iserlohn und den märkischen Raum; Band 19)