Efrem Zimbalist föddes i Rostov-na-Donu och påbörjade som 12-åring studier för Leopold von Auer vid konservatoriet i Sankt Petersburg. Han utexaminerades 1907 och inledde en internationell karriär via Tyskland och USA, där han turnerade 1911 och också bosatte sig.