Ursprünglich war das Anwesen ein Rittergut, welches von den "Herren von Werther" bewohnt wurde. Ab 1817 war dort das Landrats- und Bürgermeisteramt ansässig und befand sich im Besitz der Familie zur Hellen.
Ab 1887 wurde das Gebäude für die Zigarrenfabrikation und Vertrieb von Importzigarren gewerblich genutzt.
Die Bürgerbegegnungsstätte "HAUS WERTHER" ist heute kultureller Treffpunkt für alle mit einer Vielzahl von Nutzungsmöglichkeiten.
Während der Öffnungszeiten lockt die Stadtbibliothek mit angegliedertem Lesecafé im Erdgeschoss mit rund 16.000 Medien. Neben dem Vereinsleben und der dort ansässigen Stadtbibliothek können die Räumlichkeiten auch für private Feiern genutzt werden.
Das Stadtarchiv im Herrenhaus bietet Informationen zur Stadtgeschichte und das Trauzimmer einen stilvollen Rahmen für das Ja-Wort.
