Nargö hör till den östligaste svenskbygden i Estland; när de första svenskarna slog sig ned där är inte känt. Vid mitten av 1700-talet skall befolkningen ha bestått av sex svenska, tre estniska och en tysk familj. År 1850 beboddes ön av 90 svenskar och 50 ester, vilka livnärde sig som