Bohlen var från 1929 knuten till Utrikesdepartementet, främst som sovjetspecialist. Han deltog som ryskspråkig tolk och som rådgivare vid alla viktiga konferenser under och efter andra världskriget. Bohlen var ambassadör i Moskva 1953–57, i Manila 1957–59 och i Paris 1962–68. Åren 1968–69 var han biträdande utrikesminister för politiska frågor.