Dybäck nämns tidigast 1374. Den trelängade tegelborgens äldsta del är östra längan från cirka 1490. Ett torn i sydväst byggdes vid 1500-talets början och norra längan vid 1500-talets mitt. Denna och det sydvästra tornet bands vid 1600-talets mitt samman av den västra längan, varvid också den östra längan försågs med