Die Varnhagenstraße hieß früher „Taubenstraße“ und wurde auch „Turteltaubenstraße“ genannt, weil dort innerhalb kurzer Zeit viele junge Ehepaare in neugebaute Häuser eingezogen waren.
Die Varnhagens haben sich als Pfarrer im 16. Jh. für die Einführung der Reformation in Iserlohn eingesetzt. Bereits Conrad v. Ense, genannt Varnhagen, gest. 1530, hatte sich zu der neuen Lehre bekannt. 1558 werden Johann Varnhagen und Melchior Varnhagen erwähnt. 1644 wurde der Urenkel von Johann Varnhagen, Diedrich Friedrich Varnhagen, als Vikar eingesetzt. Es waren an die 20 Geistliche, die diese Familie zum Dienst für die lutherischen Gemeinden unserer Stadt stellte. Der Iserlohner Zweig dieser Familie lebte bis 1801 in der Stadt. Die Varnhagen sammelten wertvolle Bücher und stellten die Varnhagen-Bibliothek zusammen mit heute über 1.500 historischen Exemplaren. Die Bibliothek befindet sich im Burgarchiv bei der Obersten Stadtkirche.
2019 im Auftrag des Stadtarchivs Iserlohn redigierter Auszug aus:
Holtmeier, Hermann; Reinertz, Manfred: Iserlohner Straßennamen erzählen, hrsg. vom Förderverein Iserlohner Museen e.V., Iserlohn 2009 (Beiträge zur Heimatkunde für Iserlohn und den märkischen Raum; Band 19)