Baxter experimenterade med afrikanska, orientaliska och andra exotiska rytmer i sina storbandsarrangemang under 1950- och 60-talen. Hans största framgångar var samarbetet med sångerskan Yma Sumac på albumet Voice of the Xtabay (1950), melodin ”Quiet Village” (1951), som blev en hit för bl.a. Martin Denny, samt hans version av ”Unchained