Efter sju år som präst i Svenska kyrkan begärde Wiberg avsked från prästämbetet 1851 och blev baptist 1852. Han var efter en vistelse i USA pastor i olika baptistförsamlingar i Stockholm 1855–70 och 1878–87. Wiberg utgav tidskriften Evangelisten 1856–73. Se baptism.