Redan som sexåring blev Hjortsberg elev vid Operan och studerade senare för skådespelaren Boutet de Monvel, som ledde Gustav III:s franska teatertrupp. År 1789 knöts Hjortsberg till hovet som bibliotekarie, lektör och senare hovintendent.