Die Straße ist benannt nach zwei Kalkfelsen, um die sich alte Sagen ranken. Eine der Sagen besagt, dass auf der Burg oder in der Nähe der Burg ein Einsiedler wohnte, der den Zugang zu den Burgschätzen kannte. Da sollen eines Tages zwei Personen, als Mönch und Nonne verkleidet, des Weges gekommen sein. Sie verlangten unter schweren Drohungen von dem Eremiten, den Zugang zu verraten. Der alte Mann blieb standhaft. Er verriet den Aufenthaltsort des kostbaren Gutes nicht. Da schlugen sie ihn zu Boden und misshandelten ihn in grausamer Weise. Noch in den letzten Zügen liegend, stieß der Einsiedler die furchtbaren Worte aus: „Ihr sollt zu Stein werden!“ Diese Drohung ging in Erfüllung und als Warnung stehen die beiden steinernen Zeugen an der Burg in Ewigkeit (Leopold Schütte, 1869–1926).
Das als Baudenkmal geltende Haus An Pater und Nonne Nr. 3 wurde vor 1840 errichtet und 1884 durch einen Anbau erweitert.
Im Westfelsen („Nonne“) befand sich eine 30 m lange Höhle, deren hinterer Teil durch einen Steinbruchbetrieb zerstört wurde. Funde lassen vermuten, dass diese „Grürmannshöhle“ auch Aufenthaltsort frühzeitlicher Menschen war.
1977 wurde eine neue Brücke für die Eisenbahnstrecke Letmathe–Iserlohn gebaut. Damit verschwand der „Mausefalle“ genannte Straßenengpass an der Kreuzung Ellebrecht (Is Lex S. 20) .
2019 im Auftrag des Stadtarchivs Iserlohn redigierter Auszug aus:
Holtmeier, Hermann; Reinertz, Manfred: Iserlohner Straßennamen erzählen, hrsg. vom Förderverein Iserlohner Museen e.V., Iserlohn 2009 (Beiträge zur Heimatkunde für Iserlohn und den märkischen Raum; Band 19)