Olaf Scholz är utbildad jurist och var från 1985 verksam som advokat. Han gick med i Tysklands socialdemokratiska parti SPD redan som tonåring och var vice ordförande i ungdomsförbundet 1982–88. Senare var han SPD:s ordförande i delstaten Hamburg 2000–04 och partiets generalsekreterare 2002–05.