Während über den Bau der ehemaligen Burg schriftliche Nachweise nicht mehr existieren, sind wir über ihren Untergang etwas genauer unterrichtet. Eine alte Handschrift gibt darüber wie fogt Auskunft:

Im Jahre 1579 wonte auf dem Schloßgut nahe Rauhlaubenberg der Bestandsmann Balthasar Thanner mit seiner Familie. Dieser hatte die Schreiner gehabt und die bei deren Arbeit angefallenen Späne in der Schopf bringen lassen. Als er einige Tage später bei Rodungsarbeiten auf seinem Felde das ausgerautete Gebüsch verbrennen wollte, befahl er seiner Magd, ihm dazu Späne und Freuer zu bringen. Beim Aufheben der Späne im Schopf geriet diese mit der brennenden Fackel an den Spanhaufen. Das Feuer verbreitete sich so geschwind, daß es nicht einmal mehr gelang, fünf eisenbeschlagene Wagen aus dem Gebäude herauszubringen. Durch Funkenflug und ungünstigen Wind gelangte das Feuer auf das mit Legschindeln gedeckte Dach der zu diesem Zeitpunkt unbewohnten Burg. Auf ihren Feldern arbeitete Bauern gewahrten die Gefahr und versuchten in das Schloß einzudringen, das noch leicht zu retten gewesen wäre. Die Tore der Burg waren jedoch fest versperrt, sodaß sie ohne helfen zu können zusehen mußten, wie diese ein Raub der Flammen wurde. Die Herrschaft habe später vor allem über die alten Urkunden und Zinsbriefe gejammert, die im Narrenhause aufbewahrt gewesen seien.

NB: Als “Narrenhaus” oder “Stockhaus” wurden früher vergitterte und einbruchsichere Räumlichkeiten bezeichnet, die meist aus Stein oder massiven Holzbohlen errichtet waren und vornehmlich als Gefängnisse dienten.