Goldstine arbetade under andra världskriget med ballistiska tabeller för armén och kom därvid att delta i utvecklandet av beräkningsmaskinen ENIAC. Hans viktigaste vetenskapliga insatser gjordes vid Institute of Advanced Study i Princeton, där han som medarbetare till John von Neumann utvecklade programmeringsprinciper och numeriska metoder för datorer.