Kartano kuului 13. vuosisadasta lähtien v. 1510 asti Tallinnan Mikaelin nunnaluostarille. V. 1676 se siirtyi von der Pahlenien perheen omistukseen ja kuului heille 250 vuotta, valtiollistamiseen saakka. Sen rakennustyöt aloitettiin arkkitehti Jakob Stael von Holsteinin piirustuksien mukaan v. 1679. Rakennuksen nykyinen muoto on peräisin v. 1782–1785, jolloin se rakennettiin uudelleen. Palmsen omistajien von der Pahlenien perhettä kunnioitettiin aikoinaan sekä yläluokkalaisten että paikallisten talonpoikien keskuudessa. Carl Magnus von der Pahlen (1779-1863) Vanhemmat: (Hans von der Pahlen & Beate Ulrika Sophie Stenbock) oli ammattisotilas ja osallistui Napoleonin vastaiseen sotaretkeen. V. 1830–1845 hän oli Viron, Liivi- ja Kuurinmaan kenraalikuvernööri. Carl Magnusta kunnioitettiin myös talonpoikien keskuudessa.
