Dzieciństwo i młodość

Urodził się 11 maja 1902 we wsi Griszczino, w pow. bachmutskim (ob. obwód doniecki) w guberni jekaterynosławskiej Imperium Rosyjskiego (ob. Ukraina) w rodzinie chłopskiej. Ukończył czteroklasową wiejską szkołę powszechną, a następnie dwie klasy szkoły ministerialnej. W latach 1917–1919 studiował w szkole rolniczej. Studia przerwał wybuch wojny domowej. Wrócił do rodzinnej wsi, gdzie ukrywał się przed „białymi” wojskami gen. Antona Denikina.

Wojna domowa w Rosji

Po zajęciu wsi przez wojska Armii Czerwonej w sierpniu 1920 wstąpił w jej szeregi. Podczas wojny domowej walczył w 1 Armii Konnej przeciwko wojskom gen. Piotra Wrangla i atamana Nestora Machno.

Dwudziestolecie międzywojenne

W 1922 ukończył Wydział Artylerii Szkoły Czerwonych Dowódców w Charkowie. W okresie nauki brał udział w walkach z bandami nad Donem i w Donbasie. W latach 1922–1932 służył w 6 Dżungarskiej Dywizji Kawalerii (do 1924 w składzie 1 Armii Konnej). W okresie służby w Armawirze brał udział w walkach na Północnym Kaukazie. We wrześniu 1923 ze swoją jednostką wojskową został przeniesiony do Briańska. Od 1924 dowódca baterii. W 1928 ukończył kurs doskonalący artylerii Armii Czerwonej w Leningradzie. Po ukończeniu kursu kolejno: dowódca baterii szkolnej, dowódca dywizjonu artylerii, szef sztabu pułku artylerii.

Od 1932 służył w Specjalnej Dywizji Kawalerii Specjalnej Armii Dalekowschodniej w pobliżu miasta Czyta, najpierw jako szef sztabu, a następnie w 1934 jako dowódca pułku kawalerii. Od 1935 dowodził 23. Brygadą Pancerną w Kraju Nadmorskim, od 1936 służył w 45. Korpusie Zmechanizowanym Kijowskiego Okręgu Wojskowego. W latach 1936–1939 był słuchaczem Akademii Artylerii im. Feliksa Dzierżyńskiego w Leningradzie (od 1938 w Moskwie).

II wojna światowa

W 1939 został mianowany szefem artylerii 51 Dywizji Strzelców z Odeskiego Okręgu Wojskowego, z którą brał udział w wojnie zimowej z Finlandią, za co został odznaczony Orderem Czerwonego Sztandaru.

W maju 1941 został wyznaczony na stanowisko dowódcy 1 Brygady Artylerii Przeciwpancernej Rezerwy Naczelnego Dowództwa. Na tym stanowisku 6 czerwca 1941 został awansowany na generała majora artylerii i 22 czerwca zastał go atak Niemiec na ZSRR. We wrześniu 1941 objął dowództwo 15 Korpusu Strzelców. Później dowodził 1 Armią Pancerną, a następnie 1 Gwardyjską Armią. Z tą ostatnią armią walczył w zakolu Donu, a we wrześniu 1942 podejmował próby przebicia się od północy do odciętego Stalingradu, w składzie Frontu Stalingradzkiego, które nie powiodły się, pomimo dużych strat. Od października 1943 do końca wojny – dowodził 38 Armią 4 Frontu Ukraińskiego, która wyparła hitlerowców z Ukrainy, południowej Polski i Czechosłowacji. Dowodził m.in. podczas bitwy żorskiej.

Okres powojenny

23 czerwca 1953 brał udział wraz z marszałkiem Żukowem i generałem Batickim, w aresztowaniu na polecenie Nikity Chruszczowa i innych spiskowców, Ławrientija Berii podczas posiedzenia Prezydium Rady Ministrów ZSRR. Był on także uczestnikiem procesu Berii, który odbywał się w gabinecie członka rady wojennej Moskiewskiego Okręgu Wojskowego. Według relacji Moskalenki po ogłoszeniu wyroku, Beria miał na kolanach błagać o litość, jednak wyrok na nim i jego ludziach wykonano bezzwłocznie. 11 marca 1955 otrzymał stopień marszałka Związku Radzieckiego. Od 1960 głównodowodzący Wojsk Rakietowych Przeznaczenia Strategicznego ZSRR z tytułem zastępcy ministra obrony ZSRR. Początkowo cieszący się aprobatą Chruszczowa, odwołany w przededniu kryzysu kubańskiego z powodu wahań w kwestii operacji Anadyr (tj. ulokowania na Kubie radzieckich rakiet bliskiego i średniego zasięgu) i zastąpiony przez Siergieja Biriuzowa.

Zmarł 17 czerwca 1985 w Moskwie i został pochowany na Cmentarzu Nowodziewiczym.