Jagoda var chef för säkerhetspolisen då han 1934 utnämndes till chef för det nyupprättade Folkkommissariatet för inrikesfrågor (NKVD). Som sådan var han troligen både inblandad i mordet på Stalins rival Kirov och ansvarig för den följande terrorjakten på den skyldige. Han var drivkraften bakom den första stora Moskvarättegången 1936.