Во второй половине 1918 года добился зачисления в Красную Армию. Был командиром маршевой роты на Восточном фронте (Сольвычегодск, Вятка), командиром запасной артиллерийской батареи, военкомом бронепоезда в 3-й и 5-й армиях на Восточном фронте. Вместе с экипажем бронепоезда прошёл боевой путь от Перми до Читы, участник многих боевых операций РККА против войск адмирала А.В. Колчака, атамана Г. Семёнова и японских интервентов. С 1921 года - военком стрелковой бригады во Второй Верхнеудинской стрелковой дивизии, военком этой дивизии, военком штаба Народно-революционной армии Дальневосточной республики.
После окончания Гражданской войны на Дальнем Востоке - с декабря 1922 года - военком 17-го Приморского стрелкового корпуса. С августа 1924 года - комиссар и начальник политического отдела 17-й Нижегородской стрелковой дивизии. Окончил Курсы усовершенствования высшего начсостава при Военной академии имени Фрунзе в 1926 году. С 1926 года - командир 50-го Краснознамённого стрелкового полка в 17-й Нижегородской стрелковой дивизии. В январе - марте 1930 года - комендант города Москвы. С марта 1930 года - помощник командира 17-й стрелковой дивизии.
Окончил Военную академию РККА имени М.В. Фрунзе в 1934 году. С декабря 1934 года - командир и военком 37-й стрелковой дивизии в Белорусском военном округе, с ноября 1936 года - 2-й Белорусской стрелковой дивизии в этом округе. В июле 1937 года был назначен старшим советником при Монгольской Народной Армии, а когда в начале 1938 года советские войска в Монголии были объединены в 57-й Особый стрелковый корпус, Конев был назначен его командиром. С июля 1938 года - командующий 2-й Краснознаменной армией, дислоцировавшейся на Дальнем Востоке (штаб в г. Хабаровск). С июня 1940 года командовал войсками Забайкальского военного округа, с 13 января 1941 года - Северо-Кавказского военного округа.
Великую Отечественную войну генерал-лейтенант И.С. Конев начал командующим 19-й армией (назначен 13.06.1941) на Юго-Западном и Западном фронтах. Командовал войсками Западного фронта (10.09.1941-10.10.1941), где потерпел тяжелейшее поражение под Вязьмой. От суда и расстрела Конева спас Жуков, который содействовал назначению Конева заместителем командующего Западным фронтом (10-17 октября 1941). В качестве командующего Калининским фронтом (17.01.1941-26.08.1942) Конев успешно действовал во время контрнаступления под Москвой. С 26 августа 1942 по 27 февраля 1943 года вновь командующий Западным фронтом, участвовал в печально известной операции "Марс" и неудачно провёл Жиздринскую операцию, за которую был снят с поста командующего фронтом.
Командовал войсками Северо-Западного фронта (14.03.1943-22.06.1943), Степного военного округа (22.06.1943-9.07.1943). В Курской битве войска Степного фронта генерала Конева (командующий с 9 июля 1943) освободили Белгород и Харьков. на первом этапе битвы за Днепр армии фронта за сентябрь 1943 года прошли с боями свыше 200 километров, освободили Полтаву и форсировали Днепр на участках от Кременчуга до Днепропетровска. С 20 октября 1943 года Конев - командующий 2-м Украинским фронтом. Во главе его войск провёл Нижнеднепровскую, Корсунь-Шевченковскую, Кировоградскую, Уманско-Ботошанскую наступательные операции. 26 марта 1944 года войска 2-го Украинского фронта первыми вышли к государственной границе СССР.
С 16 мая 1944 года до конца войны - командующий войсками 1-го Украинского фронта. В июле-августе они разгромили группу армий «Северная Украина» фельдмаршала Э. фон Манштейна в Львовско-Сандомирской операции и захватили Сандомирский плацдарм, ставший одним из трамплинов для удара по гитлеровской Германии.
Указом Президиума Верховного Совета СССР от 29 июля 1944 года за умелое руководство войсками фронтов в крупных операциях, в которых были разгромлены сильные группировки противника, личное мужество и героизм Маршалу Советского Союза Коневу Ивану Степановичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда".
Осенью 1944 года фронт провел Карпатско-Дуклинскую операцию, вступив на территорию Чехословакии. В январе 1945 года войска фронта в ходе Висло-Одерской операции в результате стремительного удара и обходного маневра помешали отступавшему противнику разрушить промышленность Силезии, имевшую большое экономическое значение для дружественной Польши. Затем были Нижне-Силезская и Верхне-Силезская операции, блестящие действия войск фронта в Берлинской операции и завершающий аккорд войны в Европе - Пражская операция.
После войны 10 июня 1945 года маршал Конев назначен Главнокомандующим Центральной группой войск и Верховным комиссаром по Австрии. С июля 1946 по март 1950 года И.С. Конев - главнокомандующий Сухопутными войсками и заместитель Министра Вооруженных Сил СССР. С марта 1950 по ноябрь 1951 года - главный инспектор Советской Армии — заместитель Военного министра СССР. С ноября 1951 по март 1955 года - командующим войсками Прикарпатского военного округа. С мая 1956 по июнь 1960 года - 1-й заместитель Министра обороны - Главнокомандующий Объединенными вооруженными силами государств - участников Варшавского Договора. С июня 1960 по август 1961 - генеральный инспектор Группы генеральных инспекторов Министерства Обороны СССР. Однако в связи с разразившимся Берлинским кризисом в августе 1961 года отозван с этой почётной, но декоративной должности и назначен Главнокомандующим Группой советских войск в Германии. С апреля 1962 года - вновь генеральный инспектор Группы генеральных инспекторов Министерства Обороны СССР.