Walldoff började sin musikerbana som militärmusiker i Jönköping. Under 1950-talet spelade han trumpet i olika dansorkestrar men ägnade sig därefter framför allt åt arrangering för radio, TV, grammofon och film. Walldoff hörde under 1960- och 70-talen till de mest anlitade svenska arrangörerna och orkesterledarna och samarbetade med bl.a. Lill-Babs, Anita