Károly Grósz gick med i det ungerska kommunistpartiet som 15-åring och gjorde karriär inom propagandaavdelningen, för vilken han var chef 1974–79. Efter att under några år ha förvisats till en mindre prestigefylld position av partichefen János Kádár tog Grósz i mitten av 1980-talet plats i politbyrån. 1987 utsågs han av Kádár till