Die Ursprünge der Burg Rechenberg reichen bis ins Jahr 1229 zurück. Bis 1405 waren die Ritter von Rechenberg als Dienstmannen und Truchsessen der Grafen von Oettingen bekannt.
Die Burg wechselte im Laufe der Jahrhunderte mehrfach den Besitzer. 1409 gelangte sie an die Familie Wollmershausen, die 1429 von Ellwangen die gesamte Herrschaft Rechenberg übernahm. Mitte des 15. Jahrhunderts ging sie in den Besitz der Familie Adelmann über. 1526 erwarb Ellwangen die Herrschaft zurück und verkaufte einen Teil an die Familie Steinhäuser von Neidenfels. Unter deren Einfluss wurde die Burg im Jahr 1538 zum Schloss umgebaut, nachdem sie ein Hochgericht vom Kaiser erhalten hatte.
1571 erfuhr das Schloss eine Erweiterung, die es zu dem imposanten Gebäude machte, das heute im Stimpfacher Teilort Rechenberg zu finden ist.
