Ivarson var uppväxt och främst verksam i Göteborg, där han började studera vid Valand för Tor Bjurström 1922. Åren 1926–27 gjorde han studieresor både till Paris – där han blev gripen av Pierre Bonnards färgkonst – och till Italien, samt stannade sedan i Sydfrankrike till 1928.