Kosterlitz har utfört teoretiska studier av materiefaser med exotiska egenskaper som kan beskrivas med kvantmekaniska principer, som supraledare, supravätskor och tunna magnetiska filmer. På 1970-talet utvecklade Kosterlitz, tillsammans med David J. Thouless, metoder för att teoretiskt förklara och beskriva faser av materia som inte kan identifieras via hur de bryter kristallsymmetrin. Se vidare KT-fasövergång.