Åren 1869–72 vistades Kjellberg i USA, där han bland annat var korrespondent för Göteborgs-Posten. Efter återkomsten till Sverige startade han i Linköping tidningen Östgöten, som blev den största i Östergötland och uppmärksammades i hela landet, bland annat för sin samhällskritiska journalistik.