En befästning med en rund kastal av sten anlades av kronan på 1200-talet på en holme i Slätbaken som centrum för ett slottslän. Anläggningen byggdes ut under 1300- och 1400-talen och omvandlades av Gustav Vasa och Johan III till ett ståtligt fyrlängat renässansslott.