Joule var son till en förmögen bryggare i Salford nära Manchester. Han tog i tonåren privatlektioner hos den då 70-årige Dalton men var i stort sett självlärd. Han deltog i skötseln av faderns bryggeri tills det såldes 1854 men ägnade sig från 1837 främst åt experimentell forskning i sitt privata