Klein-Rogge filmdebuterade i en biroll i ”Doktor Caligaris kabinett” (1920) för att under 1920-talet göra en rad pregnanta rolltolkningar i Fritz Langs filmer. Han spelade bl.a. den galne vetenskapsmannen Rotwang i ”Metropolis” (1927) och det kriminella geniet Mabuse i ”Dr Mabuse, der Spieler” (1922) och ”Doktor Mabuses testamente” (1933).