Gullberg föddes i Malmö utom äktenskapet och växte upp hos fosterföräldrar. Han studerade i Lund och blev bl.a. som poet i tidningen Lundagård en känd gestalt i studentlivet. Han skrev en licentiatavhandling om Ola Hansson, vars efterlämnade skrifter han redigerade 1928–31.