Berntsen var grundtvigian och folkhögskoleman och tillhörde sitt partis moderata flygel. Han var medlem av Folketinget från 1873, inrikesminister 1908–09, statsminister 1910–13, försvarsminister 1920–22 och minister utan portfölj 1922–24. Berntsen spelade bl.a. en viktig roll vid genomförandet av 1915 års författningsreform. Han utgav Erindringer (1–3, 1921–25).