Тепловоз ТЭ2 состоит из двух отдельных секций, соединенных между собой жесткой сцепкой и управляемых с одного поста (рис.1,1а) Секция тепловоза (рис.2) монтируется на цельносварной раме облегченной конструкции, которая опирается на две двухосные тележки. Кузов тепловоза обтекаемой формы.Конструктивно он состоит из трех основных частей, в которых размещены кабина машиниста, машинное отделение и холодильник.
Кабина машиниста расположена в передней части секции тепловоза и имеет большие окна с электрообогревателями и пневмотическими стеклоочистителями, что обеспечивает хорошую видимость путевых сигналов. Температура в помещении кабины регулируется включением калорифера, представляющего собой небольшой радиатор, по трубкам которого проходит горячая вода из системы охлаждения двигателя. Воздух между трубками прогоняется вентилятором, приводимым в действие небольшим электродвигателем. В летнее время вентилятор может быть использован для освежения воздуха в кабине машиниста. Для этой же цели служат специальные жалюзи, установленные в лобовой стенке кабины. С задней стороны к кабине примыкает высоковольтная камера, в которой установлены почти все электрические аппараты. В машинном отделении тепловоза размещены силовая установка (ДГУ), компрессор и ряд вспомогательных агрегатов. Эта часть кузова имеет большое количество окон, а в крыше установлены съемные люки, через которые можно производить демонтаж таких агрегатов, как турбокомпрессор, компрессор и т.д. В задней части кузова расположен холодильник тепловоза, состоящий из водяных и масляных секций и вентилятора. Вентилятор приводится в действие коленчатым валом дизеля через редуктор и муфту сцепления. В 4 отсеках рамы, закрытых сверху литыми алюминиевыми крышками, располагается аккумуляторная батарея.
В средней части секции, внизу под рамой, укреплен топливный бак.Наличие специального утепления бака и подогрева топлива позволяет эксплуатировать тепловозы ТЭ2 в районах с очень холодными зимами. За лобовой стенкой кабины машиниста и за задней стенкой холодильника размещены резервуары песочниц. В правом углу кабины машиниста расположен пост управления тепловозом (рис.3), который состоит из контроллера с рукоятками, кнопочных выключателей, панели КИП (манометры, термометры, амперметры), световой сигнализации, скоростемера, различных переключателей и приборов управления тормозами.