Brown studerade 1946–50 vid Schillinger School, där han senare var lärare. Hans första kompositioner byggde på seriell teknik, men han övergick till att komponera ”slumpmusik” i öppen form, t.ex. Twenty-five Pages för 1–25 pianon (1953), där partituren kan spelas upp och ned och i vilken ordning som helst.