Die Wohnstraße entstand nach 1984 im weitläufigen Garten nördlich des ehemaligen Adelssitzes „Haus Letmathe“, der 1036 erstmalig erwähnt wird. Es handelt sich um eine ehemalige Wasserburg, deren letzte Gräben erst um 1900 zugeschüttet wurden. Die ältesten Teile der Burg stammen aus dem Jahre 1473. Das Anwesen gelangte 1975 in den Besitz der Stadt Iserlohn, die hier die Abteilungen Letmathe der Stadtbücherei und des Stadtmuseums einrichtete bzw. weiterführte.
Frühere Besitzer des Hauses Letmathe waren: Hermann von Letmathe („Kühlinge“ siehe Kühlingstraße), ab 1409 v. Westhoven, ab 1576 v. Brabeck (siehe Brabeckstraße), Ebbinghaus (siehe Marienstraße) und Pütter (ab 1912), ab 1853 Overweg (siehe Overwegstraße), von Bentheim-Tecklenburg (1918–1975) (siehe Fürst-Adolf-Weg).
Mit der Benennung Am Haus Letmathe sind fast alle früheren und jetzigen Eigentümer von Haus Letmathe wie der Bau selbst durch Straßennamen im heutigen Iserlohner Stadtgebiet vertreten.
2019 im Auftrag des Stadtarchivs Iserlohn redigierter Auszug aus:
Holtmeier, Hermann; Reinertz, Manfred: Iserlohner Straßennamen erzählen, hrsg. vom Förderverein Iserlohner Museen e.V., Iserlohn 2009 (Beiträge zur Heimatkunde für Iserlohn und den märkischen Raum; Band 19)