Konstantin Ivanov studerade dirigering för Leo Ginzburg (1901–79) vid musikkonservatoriet i Moskva och utexaminerades där 1937. Han debuterade året därpå och verkade som dirigent i Moskva, bland annat 1939–41 vid Stanislavskijs och Nemirovitj-Dantjenkos musikaliska teater och 1941–46 vid Allunionella radions stora symfoniorkester samt 1946–65 som chefsdirigent för Sovjetunionens statliga symfoniorkester.