Gården ägdes vid 1300-talets början av Matts Kättilmundsson. Den nuvarande huvudbyggnaden av sten i rokokostil med förhöjt mittparti härrör från cirka 1750; möjligen ingår delar av en äldre byggnad. Hedensberg blev byggnadsminne 1987.