I början av 1500-talet påbörjade Svante Sture uppförandet av en borg, dominerande belägen på en klippa. Slottet utbyggdes ytterligare under 1500- och 1600-talen men brändes av ryssarna 1719. Den nuvarande slottsbyggnaden av sten under mansardtak är byggd ca 1750 efter Carl Hårlemans ritningar i två våningar ovanpå den medeltida bottenvåningen.