Estlandssvenskarna har aldrig varit särskilt många, som flest cirka 12 000 vid nordiska sjuårskrigets utbrott 1563. Farsoter och hungersnöd skördade sina offer även bland dem. I början av 1700-talet rycktes halva den estlandssvenska befolkningen bort av pesten, enligt uppgift dog inte mindre än 1 300 på Nuckö. 1781 tvångsförflyttades 1 200 personer från Dagö