Det uppfördes av Per Brahe d.y. på 1640-talet, i sten i fyra våningar, och fick sin nuvarande fasad i tidig nygotik vid en ombyggnad 1864–67. Från 1863 var Bogesund fideikommiss inom släkten von Höpken men inlöstes 1946 av staten på grund av vanhävd.