3 танковую армию сформировали в далеком мае 1942 года. Ее предшественницей была 58-я армия Московского округа, которая была в подчинении непосредственно Ставки ВКГ. В августе армия влилась в состав Западного фронта, где с 22 августа принимала участие в контрударе против немецкой 2 танковой армии в районе Козельска. В январе 1943 года армия передана Воронежскому фронту, где принимала участие в Острогожско-Россошанской, Харьковской наступательной и Харьковской оборонительных операций.

В разные годы армией командовали П.Л. Романенко и П.С. Рыбалко.

В мае месяце 1943 года за громадное мужество и героизм в ходе Харьковской операции, когда были освобождены Чугуев и Харьков, 3 танковой армии присвоили звание Гвардейской.

Третья Гвардейская танковая армия, пройдя более 500 километров, участвовала в 25-дневной операции под Орлом в 1943 году, после чего ее вывели в резерв Ставки, а в сентябре была включена в Воронежский фронт (позже 1-й Украинский), в составе которого с нечастыми перерывами прошла до конца войны. Во время операции по освобождению Левобережной Украины она первой вышла к Днепру и форсировала его около Великого Букрина. За это 70 воинов армии удостоились званий Героев Советского Союза. Позже 3 Гвардейскую танковую армию перебросили на Лютежский плацдарм, где она участвовала в Киевской оборонительной и наступательной, Проскуровско-Черновицкой, Житомирско-Бердичевской, Львовско-Сандомирской, Нижне-силезской, Сандомиро-Силезской, Берлинской и, наконец, Пражской наступательных операциях. Она участвовала в освобождении Киева, Фастова, Василькова, Житомира, Бердичева, Проскурова, Тернополя, Перемышля, Львова.

Прославилась армия Рыбалко и своим блестящим броском на Прагу. 9 мая в 4 часа утра советские танкисты вошли в чехословацкую столицу. Этот день и стал днем Великой Победы.

За заслуги в боях все части и соединения армии были награждены орденами, множество из них удостоены почетных званий, десятки тысяч солдат армии были награждены медалями и орденами, 288 из них стали Героями Советского Союза и 8 танкистов удостоены этого звания дважды.

В годы Великой Отечественной войны решающую роль сыграли бронетанковые войска. Танкисты, мотострелки, артиллерия буквально отбивали каждую пядь земли, нанося противнику огромных потерь. Огромный вклад в достижение победы внесла и 3-я танковая армия под командованием маршала Рыбалко.