Родился 21 августа 1903 года в Харькове в многодетной семье рабочего. С 11 лет начал трудовую деятельность. В Красной Армии с 1918 года, является участником гражданской войны. В 1930–е годы окончил Артиллерийскую академию им. Дзержинского, позднее Академию Генерального штаба.
С 1941 по 1945 годы И.С. Глебов воевал на Юго-Западном, Сталинградском, Центральном, Белорусском, 1-м и 2-м Белорусских фронтах. Являлся участником обороны Киева, Харьковской операции, Сталинградской и Курской битв, форсирования Днепра, Белорусской и Восточно-Прусской операций.
Во время битвы за Днепр осенью 1943 года полковник И. С. Глебов возглавлял штаб 65-й армии. Здесь в полной мере проявилось его военное искусство, талант стратега. Под его непосредственным руководством была тактически грамотно спланирована операция по форсированию Днепра в Лоевском районе. Это во многом предопределило успех войск 65-й армии по овладению плацдармом в районе Лоева. За большой вклад в разработку и осуществление операции по форсированию Днепра И.С. Глебов был награждён орденом Кутузова 1-й степени.
В ноябре 1943 года был назначен на должность начальника штаба 48-й армии, в составе которой и закончил войну.
В послевоенные годы генерал-полковник И.С. Глебов продолжал службу в Вооружённых Силах страны. В 1945-1956 годах он занимал пост начальника управления оперативной подготовки Генштаба Министерства обороны СССР. С 1958 по 1969 годы возглавлял кафедру оперативного искусства Академии Генерального штаба.
Профессор И.С. Глебов вёл большую научную работу, занимался разработкой ряда вопросов советской военной доктрины. В 1969-1988 годах работал в Институте военной истории Министерства Обороны СССР. Иван Семёнович является автором около 150 научных работ, в том числе соавтором «Курса оперативного искусства» в 3-х томах.
За заслуги перед Родиной И.С. Глебов был награждён 14 советскими орденами, в том числе орденом Суворова 1-й степени, тремя орденами Кутузова 3-й степени, а также 3 иностранными орденами.
В 1980-е годы в знак признания больших заслуг по освобождению Лоевского района ему было присвоено звание «Почётный гражданин Лоева».
Иван Семёнович Глебов умер 23 августа 1993 года.