Trots att Baxters dikter är fyllda av klassisk mytologi, katolsk mystik och arketypiska motiv är samtidens Nya Zeeland hans litterära landskap. Hans poesi, t.ex. i Rock Woman (1969), liksom hans okonventionella livsstil präglas av religiöst och socialt engagemang.