Efter ekonomisk utbildning inträdde han i utrikesförvaltningen 1939 och fick sin diplomatiska skolning vid fredskonferenserna i andra världskrigets slutskede. Gromyko var ambassadör i USA åren 1943–46, varefter han, delvis samtidigt, fungerade som fast representant i Säkerhetsrådet (1946–48) och som vice utrikesminister (1947–52). Efter ett kort mellanspel som ambassadör i London