Williams blev känd som medlem av Andy Kirks orkester (1930–42), där hon utvecklade en personlig stil i kompositioner och arrangemang, t.ex. ”Walkin’ and Swingin’”. Hon ledde därefter egna grupper, anlitades som arrangör av bl.a. Duke Ellington och Dizzy Gillespie och spelade även bebop. Williams var länge aktiv som musiker och