Kärnan började byggas ca 1313, med den danske kungen Erik Menved som byggherre, men fullbordades betydligt senare. Den ersatte en kastal, som ingick i en dansk riksborg från 1100-talet.