Den första anläggningen byggdes omkring 1303 av kung Birger Magnusson under hans strider med sina bröder Erik och Valdemar samt den norske kungen Håkon Magnusson. Gullbergs fäste låg på en kulle på Gullbergs hed, som redan under 1250-talet var plats för nordiska gränsmöten. Som gränsbefästning var Gullbergs fäste starkt