Olmert invaldes i Knesset 1973 som medlem av högerpartiet Likud. Han var minister utan portfölj men med ansvar för minoritetsfrågor 1988–90 och hälsominister 1990–92. Åren 1993–2003 var Olmert borgmästare i Jerusalem och blev där känd för en hårdför politik gentemot de arabiska invånarna i staden. I samband med utnämningen till borgmästare