Captain Beefheart påverkades tidigt av Frank Zappa, som han som tonåring lärde känna, och han framträdde från 1964 med olika konstellationer av musiker under gruppnamnet Captain Beefheart and His Magic Band. Albumdebuten skedde 1967 med Safe as Milk.