Efter en lång militär karriär blev Jakubovskij i början av 1960-talet chef för de sovjetiska styrkorna i Östtyskland. Samtidigt invaldes han som ledamot i Sovjetunionens Högsta sovjet. Sedan han under en kort period mellanspelat som befälhavare för Kievs militärområde utsågs han 1967 till marskalk och fick på kort tid två