Ifvarsson härstammade från bondeståndets lägsta skikt, frälselandborna. Han gick aldrig i skola men skaffade sig på egen hand betydande kunskaper och blev tidigt en betrodd man i sin bygd.