Såsom chefsåklagare i Sovjetunionen 1935–39 var han Josef Stalins viktigaste medhjälpare i 1930-talets storskaliga utrensningar. Andrej Vysjinskij presiderade bland annat vid de så kallade Moskvaprocesserna 1936–38, där han med hjälp av tortyr fick Stalins politiska konkurrenter och forna medhjälpare att erkänna stats- och partifientlig verksamhet.