Das Renaissanceschloss wurde 1571 von Hans Ulrich von Ludmanstorf errichtet, welcher aber schon 1572 starb. 1576 kaufte Helmhard VIII Freiherr von Jörger das Anwesen und ließ es erweitern, sein Sohn Helmhard der Jüngere vollendete das Schloss im Jahr 1619. Im Dreißigjährigen Krieg ging das Schloss an Eleonora Gonzaga, nach Ihrem Tod kaufte es Georg Ludwig von Sinzendorf, der dort das erste planmäßig errichtete Fabriksgebäude Österreichs – eine Seidenspinnerei – errichtete. Nach seinem Tod musste seine verwitwete Ehefrau die Anlage an Ludwig Graf Colloredo-Wallsee verkaufen, welcher sie an seine Tochter Maria Antonia Josefa Montecuccoli vererbte. Nach ihrem Tod gelangte das Erbe 1738 an Camillo Graf Colloredo-Wallsee. Von 1859 bis 1956 gehörte das Schloss der Familie Falkenhayn. Marie Gräfin Falkenhayn vermachte schließlich Walpersdorf zusammen mit anderen Gütern dem Orden der Missionsschwestern vom hl. Petrus Claver. Im Zweiten Weltkrieg wurde das Schloss schwer beschädigt, jedoch wieder instandgesetzt. Besitzer ist heute nach wie vor der Missionsorden.
Das Schloss war früher von einem Wassergraben umgeben.
