Gustafsson spelade i Göteborg med bl.a. trumslagaren Nils-Bertil Dahlander 1952–54, varefter han kom till Stockholm, där han etablerade sig som landets ledande jazzgitarrist i modern stil. Han spelade med Putte Wickmans sextett och Hacke Björkstens orkester samt inledde 1959 ett långvarigt samarbete med Arne Domnérus.