Med sitt utåtriktade, hårdslående trumspel uppmärksammades Rich först i vita swingorkestrar, främst hos Tommy Dorsey (1939–42, 1944–45, 1954–55) och Harry James (1953–66). Rich spelade också för Jazz at the Philharmonic under 1950–60-talen. Från 1946 ledde han periodvis egna band.