Butler var son till en präst och sonson till en biskop. Han avbröt sina studier i Cambridge för att själv slippa bli präst, begav sig 1859 till Nya Zeeland som fårfarmare, återvände 1864 till Storbritannien och framträdde bl.a. som målare.