Wolff är självlärd som tonsättare. I början av 1950-talet samarbetade han med bl.a. John Cage, Earle Brown och Morton Feldman i New York.