Axel (von) Fersen tillhörde en tysk-baltisk adelsfamilj men kunde på mödernet även räkna släktskap med äldre adelsätter i Sverige och Finland. Han fick en i högsta grad ståndsmässig uppfostran, och de ekonomiska och familjemässiga förutsättningarna för en lysande militär och politisk karriär var givna.