Scharping invaldes i delstaten Rheinland–Pfalz parlament 1975 och har sedan 1976 innehaft olika poster i det socialdemokratiska partiet på delstatsnivå. Under Scharpings ledning lyckades SPD 1991 nå egen majoritet i delstatsparlamentet och tvinga det kristdemokratiska partiet (CDU) i opposition för första gången sedan 1947. Scharping blev därmed delstatsregeringschef.