Det äldsta kända privilegiebrevet för järnhantering i Sverige, utfärdat 1346, gäller ett berg nära Skyllberg. Det nuvarande Skyllberg har sitt ursprung i en 1643 anlagd hammare. Den timrade och reveterade bruksherrgårdens bottenvåning härrör troligen från 1700-talets början; vid en ombyggnad 1828–30 påbyggdes en våning och byggnaden försågs med gavelfront och