Efter uppväxten i Bosjökloster i Skåne studerade Rosenberg från 1914 piano, komposition och dirigering i Stockholm och tog intryck av bl.a. Schönberg och Stravinsky under kontinentala studieresor. Under 1920-talet studerade han kontrapunkt för Stenhammar. Rosenberg uppträdde ofta som pianist och kammarmusiker, var 1932–34 kapellmästare vid Operan samt gästdirigerade vid symfonikonserter.