Vid Tysklands angrepp 1941 var Konev generalöverste och frontbefälhavare (armégruppchef) och bidrog verksamt till att offensiven mot Moskva hejdades. Åren 1943–44 förde han befälet över Ukrainafronten. Det var slutligen Konevs trupper som 1945 erövrade först Berlin och sedan Prag.