Der Herrensitz Räpina wurde in der ersten Hälfte des 19. Jahrhunderts von Gustav Cristoph Eduard von Richter (1790-1847) gekauft. Der in Livland geborene und in Moskau und Heidelberg ausgebildete von Richter war ein wohlhabender Mann und besaß mehrere Rittergüter in Livland. Das Schloss Sillapää liess er in den Jahren 1836 bis 1840 bauen. Das damalige Schloss bestand aus einem mittleren Teil mit Säulen, Nebenflügeln und Zwischenbauten. Der Mittelteil und die Nebenflügel hatten zwei Etagen, die Zwischenbauten eine. Außerdem ließ Richter das Gelände des Herrensitzes messen und im Jahr 1844 einen Atlas mit Karten stellen.
Im Jahr 1855 wurde das Herrenhaus an Peter Anton von Sivers (1807–1893) verkauft. Der 48-Jährige Sivers war Landessachverständiger, Mitglied des livländischen Hofgerichts und Ehrenmitglied der Livländischen Gemeinnützigen und Ökonomischen Sozietät. Sein Studium hatte er in Livland und Deutschland vollbracht. Sivers vollendete die Gestaltung des zum Schloss gehörigen Parkes und kümmerte sich um die Sanierung der Papierfabrik, die bis 1862 andauerte. Unter anderem liess Sivers die Fabrik mit einem neuen Hauptgebäude ausstatten. Im Eckstein des Gebäudes wurde eine Flasche mit Dokumenten eingemauert, die bis heute im Museum aufbewahrt wird. Die Bauern der Umgebung haben berichtet, dass Sivers ein wohlwollender Gutsherr war, der sich für die Bauern einsetzte. Während seiner Herrschaft fanden keine sonst so üblichen körperlichen Züchtigungen der Bauern statt. Nach dem Tode Sivers wurde das Herrenhaus von seinem 1843 geborenen Sohn Alexander von Sivers übernommen, der sich in Räpina mehr als 30 Jahre vor allem für die Entwicklung der Kirche einsetzte.
Anfang des 20. Jahrhunderts wurde dem Schloss Sillapää durch die Ereignisse des ersten Weltkrieges und des zur Unabhängigkeit führenden Estnischen Freiheitskrieges schwerer Schaden zugefügt. Daraufhin musste das Schloss saniert werden, bevor die Realschule Räpina im Jahr 1920 einziehen konnte. Im Jahr 1924 wurde die Schule in ein öffentliches Gemeinschafts- und Agrargymnasium umgewandelt. Während das Gebäude weiterhin als Schule benutzt wurde, wurden weitere Sanierungen vorgenommen. Das Gebäude bekam ein Korridorsystem, Klassenzimmer für den Unterricht und wurde schlussendlich noch mit einem neuen Dach, Elektrizität und Wassersystemen ausgestattet. Aufgrund materieller Knappheit beteiligte sich die gesamte Gemeinde an der Durchführung der Sanierung des Schlosses, welche 1938 abgeschlossen wurden.
Ab dem Jahr 1941 wurde das Gebäude von der deutschen Wehrmacht als Lazarett benutzt, im Jahr 1944 von der Roten Armee übernommen. In der darauffolgenden Sowjetzeit wurde die ehemalige Schule in eine landwirtschaftliche Ingenieurschule (Sowchos-Technikum) umgewandelt, in der bis zum Umzug in ein neues Gebäude im Jahr 1984 Gartenbauingenieure ausgebildet wurden.
In den Jahren 1989/1990 wurde das Schloss seit Langem wieder einmal saniert. Nach der Sanierung zog das Büro des Sowchos-Technikums in das Gebäude. Nach der estnischen Unabhängigkeit im Jahr 1991 lösten sich die kollektivierten Großbetriebe auf und einzig der landwirtschaftliche Teil blieb in der Form einer GmbH im Gebäude. Nach der Verwaltungsreform wurde das Gebäude von der Stadtverwaltung bis zum Umzug in ein neues Gebäude genutzt.
Im Jahr 1994 begann die Bildungsorganisation Räpina Vabaharidusühendus im Schloss Sillapää ihre Tätigkeit. Im darauffolgenden Jahr wurde das Heimatkunde- und Gärtnereimuseum Räpina eröffnet. Im Jahr 2009 wurde das Gebäude saniert und die erste Etage des ehemaligen Schlosses komplett renoviert. Die Räume der ersten Etage wurden von der Musikschule Räpina übernommen.