Den skånskättade Tott var länge främst knuten till Danmark. Han ärvde efter fadern stamgodset Härlöv i Skåne och uppförde där Lillöhus samt övertog som pantlän Villands och Gärds härader med staden Vä. Tott blev danskt riksråd 1452, men sedan han förlänats med Visborg 1464 blev Gotland huvudbas för hans maktutövning.