1846 ließ sich Amalie Charlotte Auguste zu Waldeck-Pyrmont und Limpurg-Gaildorf als Witwensitz eine Villa in den Herrengarten bauen. Nach zwei Erweiterungen 1880 und 1896 diente das neue Schloss den Grafen von Bentinck und Waldeck-Limpurg als Sommersitz.
Im Zweiten Weltkrieg blieb es von Einquartierungen zumeist verschont, da es vom Spätherbst bis in das Frühjahr nicht bewohnt werden konnte. Stattdessen wurde es zur Einlagerung von Kulturgut sowie, gegen Kriegsende, vom Sicherheitsdienst der SS genutzt. 1945/46 diente es als amerikanisches Offizierskasino und danach bis 1965 als Altersheim. 1954 erwarb die Stadt Schloss und Park. Seit 1967 befindet sich das Gaildorfer Rathaus im Neuen Schloss.
