Under medeltiden ägdes Fiholm av biskopen i Västerås, drogs 1527 in till kronan och ägdes senare bland annat av Gustaf Horn och Maria Eleonora. Sedan 1785 ägs Fiholm av ätten Ridderstolpe. Huvudbyggnaden av sten i två våningar under mansardtak uppfördes på 1770-talet och bevarar i stor utsträckning ursprunglig fast inredning.