Som försvarsminister 1935–40 och ordförande i riksdagsgruppen 1940–43 blev han kritiserad för den danska nedrustningen och krigsårens samarbete med ockupationsmakten. Han utnämndes 1947 av Hans Hedtoft till inrikesminister, men oppositionen tvingade honom att avgå. Andersen hade många internationella uppdrag, bl.a. i FN och Socialistiska internationalen.