Svendsen fostrades musikaliskt redan i hemmet. Åren 1863–80 studerade och reste han på kontinenten, bl.a. till Leipzig och Paris. Åren 1872–77 och 1881–83 gjorde han sig dock bemärkt i Kristiania, bl.a. som dirigent.