Kjellberg arbetade i en klassicistisk stil och var en flitigt anlitad porträttskulptör. Bland hans mest kända offentliga arbeten kan nämnas Linnéstatyn i Humlegården (1885) och cementfrisen på Jernkontorets hus vid Kungsträdgården (1875), båda i Stockholm.