The Pogues albumdebuterade 1984 med Red Roses for Me som året efter följdes av Rum, Sodomy & the Lash, producerad av Elvis Costello. Förutom MacGowan bestod gruppen vid denna tid av Peter ”Spider” Stacy (född 1958; tin whistle), Jeremy (Jem) Finer (född 1955; banjo), James Fearnley (född 1954; dragspel), Andrew