Venngarn är känt sedan 1200-talet. Den nuvarande slottsbyggnaden, av sten i tre våningar med framspringande flyglar, har en medeltida kärna men har byggts ut i flera etapper, bland annat 1591 samt under 1660-talet.