Завод, получивший наименование «Паровозостроительный завод Русского общества машиностроительных заводов Гартмана в Луганске», был основан 3 мая 1896 года. Владельцем завода являлся немецкий промышленник Густав Гартман, которого пригласили в Россию в 1895 году с целью основания своего предприятия по производству паровозов. 3 мая 1896 года Николай II утвердил Устав РОМЗГ и дал разрешение на его учреждение. 1 июля 1896 года на берегу реки Лугани началось строительство завода. 

В 1900 году вышел первый товарный паровоз (серии Од). До революции завод выпускал не только паровозы, но и стальное и чугунное литьё, прокат, стационарные паровые котлы. После Октябрьской революции завод национализировали. В годы первых пятилеток прошла масштабная реконструкция: мощности увеличили вчетверо, построили новые цехи. В 1935 году завод получил название «Ворошиловградский завод имени Октябрьской революции» — одновременно с переименованием самого города в Ворошиловград. Здесь создавали передовые для того времени паровозы: грузовые ФД (названы в честь Феликса Дзержинского), пассажирские ИС (Иосиф Сталин), а в 1937 году — высокоскоростной паровоз 2-3-2. Паровозы ФД и ИС получили мировое признание, в том числе золотую медаль на международной выставке в Париже в 1938 году. По своей производственной мощности завод занял первое место в Европе и второе место в мире. С 1956 года завод начинал строить тепловозы ТЭ3. 19 октября 1956 года завод получил название тепловозостроительного. За всю историю предприятие выпустило около 12,5 тысячи паровозов и более 44 тысяч тепловозов.