Goldberg var under flera årtionden fackföreningsjurist och spelade en viktig roll vid sammanslagningen av fackförbunden AFL och CIO 1955. Han var arbetsminister 1961–62, medlem av USA:s högsta domstol 1962–65 och FN-ambassadör 1965–68. År 1970 var han demokraternas kandidat vid guvernörsvalet i New York men förlorade mot Nelson Rockefeller.