Bundgaard fick sin utbildning vid Kunstakademiet i Köpenhamn, där han var elev till Stephan Sinding. Han studerade därefter i Paris för Rodin och Falguière. Bland hans större arbeten märks exteriörutsmyckningar till Köpenhamns rådhus och Christiansborgs slott samt den i naturalistiskt formspråk och i traditionellt dansk-mytologisk stil utformade Gefionfontänen i Köpenhamn