Som militär deltog Rabin i den judiska försvarsstyrkan Palmachs verksamhet 1941–48, förde befäl över en brigad i 1948 års Palestinakrig och deltog i Israels delegation vid vapenstilleståndsförhandlingarna 1949. Inom Israels försvarsstyrkor var han därefter befälhavare över norra kommandot 1956–59, tjänstgjorde i generalstaben 1960–64 samt var generalstabschef 1964–68 och armébefälhavare