Das Schloss Rechberg wurde 1495 dem St.-Georgs-Ritterorden als Kommende gestiftet. Nach der Auflösung des Ordens 1598 wurde das Schloss, wie alle anderen Ordensbesitzungen, den Jesuiten übergeben. Diese waren bis zu ihrer eigenen, vorübergehenden Auflösung im Jahr 1773 Besitzer des Schlosses. Das Gebäude ist ein dreigeschoßiger, kubischer, von einem Walmdach überdeckter, Bau mit einem turmartigen Vorbau im Nordwesten. Knapp unter dem Dach sind Schießscharten zu sehen. Das Schloss ist im Kern vom Ende des 15. Jahrhunderts an dem jedoch im 16. und 17. Jahrhundert (im Inneren auch im 19. Jahrhundert) Veränderungen vorgenommen wurden. An der Westwand befindet sich ein Fresko des Heiligen Georg (ehemals bezeichnet 1581). Dem Gebäude ist bergseitig ein umbauter Vorhof vorgelagert, an dem der Kirchhof angrenzt.
