Sätesgården är känd sedan 1300-talet. Huvudbyggnaden av sten i två våningar uppfördes 1757, då Niclas Sahlgren ägde gården. Möjligen ingår äldre delar. Den ombyggdes 1856 i medeltidsstil efter ritningar av Adolf Wilhelm Edelsvärd, då det åttkantiga tornet tillkom. Sedan 1818 ägs Gåsevadholm av ätten Silfverschiöld.