Em är känt sedan 1300-talet, och under medeltiden fanns en borganläggning vid Emåns utlopp. Den nuvarande huvudbyggnadens bottenvåning av sten härrör från 1600-talet och påbyggdes vid 1800-talets början med en andra våning av reveterat timmer. I stora salongen finns franska panoramatapeter från 1825–30. Em tillhör sedan mitten av 1700-talet ätten