Der aus der Läger kommende Baarbach wurde früher an der Schlacht angestaut (um die Mühlen anzutreiben), machte dann einen 90-Grad-Knick (vermutlich von Menschenhand verursacht) Richtung Bauernkirche und teilte sich vor dieser, um das Gotteshaus beidseitig zu umfließen. Unmittelbar hinter der Bauernkirche floss der Bach zur „Unteren Mühle“, um sich nach ihr wieder zu vereinen. Dies geschah damals alles noch oberirdisch, sodass die Bauernkirche auf einer Insel stand. Auch wenn von alledem heute nichts mehr zu sehen ist, blieb der Name Inselstraße bestehen. Die Inselstraße verlief früher vom Mühlentor parallel zur Stadtmauer bis zur Kluse. Im Jahre 1840 plante man, den Baarbach in diesem Bereich zu überwölben, da die Fuhrwerke in der Trockenzeit lieber das ebene Baarbachbett nutzten als die unpassierbaren Straßen. Dadurch entstanden enorme Schäden am untersten Kirchhofe. Mit dem Bau des Bahnhofsdammes 1863 wurde zunächst erst nur ein Tunnel für den Baarbach gelassen.
Der Name Inselstraße erscheint zuerst im Stadtplan von 1882, und zwar nur für den Ostteil, der 1980 in „Am Zeughaus“ umbenannt wurde. Erst 1907 wurde die Straße nach Westen hin zur Kluse durch den Dammdurchbruch verlängert. Durch diese Baumaßnahme war die alte Verbindung zur Kluse wieder hergestellt. Heute nennt sich nur noch das Straßenstück von der Altstadt zur Kluse unter dem Straßendamm (Poth) entlang Inselstraße. An der Inselstraße lag früher die Donnerkuhle, eine dem Gott Donar geweihte Stätte, wie alte Iserlohner glauben. Hier befand sich angeblich in alter Zeit ein Götterplatz, an dem riesige Eichen standen. Die Eiche gilt als Sinnbild der Kraft und der Göttlichkeit, weil sie in besonderem Maße den Blitz anzieht (vergleiche das Sprichwort „Buchen sollst du suchen, Eichen musst du weichen“). Daher war sie den Blitze schleudernden Göttern geweiht, bei den Griechen Zeus, bei den Römern Jupiter und bei den Germanen Donar.
Der frühere Name des Westteils „Im Kröllchen“ ist wohl für die damals ungeordnet stehenden kleinen Fachwerkhäuser unter der hohen Stadtmauer geprägt worden („Kroll“ bedeutet nach Woeste „dichtes und krauses Gewirre“), siehe Im Kröllken.
2019 im Auftrag des Stadtarchivs Iserlohn redigierter Auszug aus:
Holtmeier, Hermann; Reinertz, Manfred: Iserlohner Straßennamen erzählen, hrsg. vom Förderverein Iserlohner Museen e.V., Iserlohn 2009 (Beiträge zur Heimatkunde für Iserlohn und den märkischen Raum; Band 19)