I wojna światowa

W czasie I wojny światowej uniknął poboru do wojska i działał w ruchu antywojennym. W kwietniu 1917 wstąpił do bolszewickiej Czerwonej Gwardii. W tym samym roku w październiku brał udział w szturmie na Pałac Zimowy.

Brał udział w wojnie domowej awansując w Armii Czerwonej. Studiował w Akademii Wojskowej im. Michaiła Frunzego. We wrześniu 1935, w wieku 35 lat, objął dowództwo pułku, a w 1936 został wysłany do nowo utworzonej Akademii Sztabu Generalnego. Przeżył stalinowskie czystki i w lipcu 1937 został mianowany szefem sztabu Leningradzkiego Okręgu Wojskowego, a w maju 1938 pomocnikiem szefa Sztabu Generalnego Armii Czerwonej.

II wojna światowa

W 1940 po zmianach personalnych w kierownictwie sił zbrojnych (powodem zmian była wojna zimowa z Finlandią), został przeniesiony na szefa sztabu do nowo utworzonego Odeskiego Okręgu Wojskowego.

Po ataku Niemiec na Związek Radziecki w czerwcu 1941, w stopniu generała majora objął funkcję szefa sztabu nowo sformowanej 9 Armii, utworzonej z wojsk Odeskiego Okręgu Wojskowego. Następnie był szefem sztabu 2 Frontu Ukraińskiego, a następnie Frontu Zabajkalskiego.

Okres powojenny

Po zakończeniu II wojny światowej kierował Akademią Sztabu Generalnego. Od stycznia 1949 był szefem Głównego Zarządu Wywiadowczego i zarazem zastępcą szefa Sztabu Generalnego Armii Radzieckiej. Z obydwu stanowisk został zwolniony w 1952, jego miejsce na stanowisku szefa wywiadu wojskowego zajął Michaił Szalin.

Po śmierci Józefa Stalina w marcu 1953, spychany był na coraz niższe stanowiska w hierarchii wojskowej. W maju 1954 został mianowany dowódcą Leningradzkiego Okręgu Wojskowego, a następnie w 1957 dowódcą grupy wojsk stacjonujących w Niemieckiej Republice Demokratycznej. W 1959 awansowany na marszałka Związku Radzieckiego i w 1960 mianowany szefem Sztabu Generalnego Armii Radzieckiej. Stracił to stanowisko w 1963, w ramach zmiany w radzieckim kierownictwie polityczno-wojskowym po kubańskim kryzysie rakietowym.

W marcu 1963 powierzono mu ponownie komendę Akademii Sztabu Generalnego. Później brał udział w spisku przeciwko Nikicie Chruszczowowi i po jego obaleniu w październiku 1964, przywrócono mu stanowisko szefa Sztabu Generalnego Armii Radzieckiej, które zajmował do września 1971 roku.

Od 1961 członek Komitetu Centralnego KPZR, w latach 1947–1952 deputowany do Rady Najwyższej RFSRR, a w latach 1954–1972 do Rady Najwyższej ZSRR od 4. do 8. kadencji.

Zmarł 31 stycznia 1972 i został pochowany pod murem kremlowskim na Placu Czerwonym w Moskwie.