Fiholm är känt sedan 1300-talets början. Axel Oxenstierna, som 1617 ärvde Fiholm, lät på 1630-talet Simon de la Vallée upprätta planer till en ståtlig slottsanläggning. Av denna uppfördes dock endast de båda långsträckta envåningsflyglarna av tegel under valmtak och med fasadskulptur på portaler och takkupor.