Efter att ha arbetat som trombonist under första hälften av 1940-talet ägnade sig Riddle huvudsakligen åt arrangerande och komponerande, och hans första stora framgångar som arrangör kom i början av 1950-talet med Nat King Coles ”Mona Lisa” och ”Too Young”. Från 1953 arbetade han som arrangör för Frank Sinatra och