Foster var med sitt kraftfulla spel en av de första som markerade varje taktdel, t.ex. i Luis Russells ”Jersey Lightning” (1929). Han spelade med Russell 1929–35 och med Louis Armstrong 1935–40 för att därefter framträda med olika kombinationer i äldre jazzstilar.