Efter dramastudier debuterade Randall på scenen 1941. Under flera decennier sågs den mångsidige och elegante Randall ofta i komiska roller, både på Broadway och inom film och TV. Mest känd blev han i rollen som Felix Unger i serien ”The Odd Couple” (1970–75).