Björnö är känt sedan 1300-talets slut. Ruiner av en medeltida borg har bevarats. Den nuvarande huvudbyggnaden av trä, i två våningar med framskjutande högre sidopartier, byggdes 1850. En tvåvåningsflygel härrör från 1700-talets mitt.