Skaugum skänktes 1929 till dåvarande kronprins Olav (V) och kronprinsessan Märtha som bröllopsgåva av diplomaten Fritz Wedel Jarlsberg. Den nuvarande huvudbyggnaden, villa Skaugum, uppfördes efter en brand 1930 och är ritad av Arnstein Arneberg. Med undantag för ockupationen 1940–45, då Skaugum var den tyske rikskommissarien Terbovens residens, bodde kung Olav