Berge invaldes i stortinget 1891 och var bl.a. finansminister 1906–07 och 1910–12. Han återkom på samma post i O.B. Halvorsens högerregering 1923. Han efterträdde denne som statsminister samma år men avgick redan 1924 sedan stortinget motsatt sig ett förslag från regeringen om avskaffande av totalförbudet mot rusdrycker.