Tõnu Kaljuste utexaminerades från Tallinns musikkonservatorium 1976 och avslutade sina studier vid konservatoriet i Leningrad 1978. Redan 1974 blev han dirigent för kammarkören Ellerhein, grundade 1981 dess professionella efterföljare Estniska filharmonins kammarkör (chefsdirigent 1981–2001) och 1993 Tallinns kammarorkester (chefsdirigent 1993–2001).