Som son till Axel (von) Fersen d.ä. fick han en närmast furstlig uppfostran. Under en utrikes bildningsresa (1770–74) träffade han för första gången det franska kronprinsparet i Paris 1773. Efter att ha deltagit som officer i fransk tjänst i nordamerikanska frihetskriget återkom Fersen till Paris 1783. Vid denna tid inledde han det kärleksförhållande med