Nielsen växte upp på Fyn i ett hantverkarhem där musiken var ett naturligt inslag. Vid 14 års ålder enrollerades han som militärmusikelev i Odense och 1884 började han studera violinspel och komposition i Köpenhamn. År 1889 anställdes han som violinist i Det kongelige Kapel. Då hade han redan erfarenheter som