Riksrådet Mourids Jespersen Sparre (död 1534) lät omkring 1530 på en holme i Svanesjön uppföra två tegellängor med trappgavlar. Kort därefter utbyggdes anläggningen till en fyrlängad renässansborg, vars östra länga vid 1600-talets slut förvandlades till ett barockpalats av Axel Erik Gyllenstierna (1678–1751).