Nach dem Tod des letzten männlichen Erben des Hauses Limpurg fiel das Erbe an die zehn Erbtöchter und deren Ehemänner. Karoline Christiane, eine Nachkommin, heiratete 1737 Graf Christian Wilhelm Karl von Pückler. Ihr ältester Sohn, Friedrich Philipp Karl von Pückler-Limpurg, ließ in Gaildorf 1778 ein Schloss neben der Stadtkirche errichten.
Zweimal wurde das Pücklersche Schloss vollständig zerstört: 1868 beim großen Stadtbrand und 1945 bei Kriegsende durch deutschen Beschuss. Da die letzten Besitzer des Schlosses Graf Gottfried zu Pückler-Limpurg (1871-1957) und seine Ehefrau Adele geb. Prinzessin zu Hohenlohe-Ingelfingen (1877-1961) kinderlos waren, wurde das Schloss nach dem Krieg nicht wieder aufgebaut.
Das Paar verlebte seine letzten Jahre im Pückler’schen Forsthaus in Gaildorf. Am 24. Dezember 1950 gründete es die „Graf von Pückler und Limpurg’sche Wohltätigkeitsstiftung“, die diakonische und kirchliche Institutionen und Projekte in Baden-Württemberg unterstützt.
An das Schloss selbst, erinnert heute nur noch ein Mosaik auf dem Kirchplatz vor dem evangelischen Gemeindehaus. Es zeigt die Wappen der letzten gräflichen Bewohner des Schlosses: links das Pückler-Limpurger Wappen Graf Gottfrieds, rechts das Hohenloher Wappen von Gräfin Adele. Das Original befand sich einst in der unteren Eingangshalle.
Die Zeit überdauert hat nur der, neben dem Schloss gelegene, ehemalige Marstall (Pferdestall und Wagenremise). Er ist heute Jugendhaus der Evangelischen Kirche. Das nach Graf Gottfried benannte Gebäude steht in der Kirchstraße.
