Olsen bodde en stor del av livet i San Francisco och blev tidigt ensamförsörjare till fyra barn. Hon debuterade med novellsamlingen Tell Me a Riddle (1962; ”Ge mig en gåta”).