Gompers var tidigt aktiv i cigarrarbetarnas fackförening. År 1886 var han en av grundarna av American Federation of Labor (AFL) och var dess president 1886–94 och 1896–1924. Han förespråkade en renodlat facklig linje och lät AFL huvudsakligen bli ett organ för den vita, yrkesutbildade arbetareliten.