Stenhammar är känt sedan 1300-talets slut. Huvudbyggnaden av sten i två våningar med ett högre mittorn med lanterninprydd spira påbörjades 1658 efter Jean de la Vallées förslag. Vid en ombyggnad 1845–49 tillkom bl.a. de båda sidotornen.