Brunsholm nämns tidigast 1302. En ståtlig huvudbyggnad i barockstil, byggd av sten i två våningar och med fyra hörntorn, uppfördes vid 1600-talets mitt. Efter en brand 1756 revs hörntornen. Senare ombyggnader har ägt rum 1818–20 och på 1940-talet. Den ursprungliga skulpterade huvudporten har bevarats.