Åren 1666–73 utvidgades anläggningen till en fästning i sten, vilken samtidigt fick namnet Karlsten. Efter ritningar av Erik Dahlbergh byggdes fästningen om på 1680-talet, då bl.a. det ursprungligen fyrkantiga tornet fick sin nuvarande runda form. På nytt ombyggd 1834–51 lades fästningen ned 1882. Den disponerades av den 1906 uppsatta Skeppsgossekåren