Im Pfälzische Erfolgekrieg (1688 bus 1697) wurde der Wolkenstenische Hof durch französische Truppen zerstört. Nur ein Seitenportal, die Wohnung der Amtsknechte und Lagergebäude blieben erhalten.

Freiherr Christoph von Wolkenstein, ein Nachfolger des adligen Minnesängers aus Südtirol, Oswald von Wolkenstein (gest. 1445), hatte um Jahre 1600 die Gräfin Maria von eberstein geheiratet. Kurz darauf ließ er den Residenzbau im Stil der späten Renaissance errichten. Die dazu gehörenden Keller erhielten ihren Zugang von der Turmgasse.

Nach dem Stadtbrand von 1798 wurde an dieser Stelle ein Neubau errichtet, in welchem bis 1998 das Forstamt Kaltenbronn seine Verwaltung hatte. Heute ist er in privater Hand.