建国前，有省立安徽工业专科学校1所。民国35年（1946年），安徽省立安徽蚌埠高级职业学校改建为省立安徽工业专科学校后，于次年秋迁至淮南洞山，设土木、电力、工程三科。民国37年有学生425人，教职工265人。1950年1月，学校由华东军政委员会工业部领导，改名为淮南工业专科学校。同年6月，改由燃料工业部煤炭管理局领导，又改名为淮南煤矿工业专科学校。1954年招收了4年制本科学生，改为合肥矿业学院，1956年暑期迁往合肥，后为合肥工业大学。1954～1957年，淮南无高等院校。
1958年，在原中专学校的基础上改建淮南矿业学校、淮南化学工业专科学校、淮南师范专科学校，新建淮南医学专科学校。矿校设有矿井建筑、采煤、矿山机械3个专业。化专设有无机物工艺、有机合成、化工机械3个专业。医专设医疗科。师专设中文科和数学科。为了多、快、好、省地培养建设人才，并兼顾到初、高中毕业生来源不足的困难，各校在学制和课程设置上都作了一些改革。矿校、师专、化校设立预科班。矿院、化专设有中专部。师专设有中师和4年制师范。4校当年建成当年招生，到1962年在校生为1143人，教职工672人。1962年底，淮南矿业学校迁往山东；1963年，淮南教师进修学校（即原师专，1962年更名为淮南教师进修学校）停办；1964年化专停办，后改办为淮南中等技术学校；1963年医专停办；1965年将淮南卫生学校改为医专，后该校迁往滁县地区。1968～1970年淮南无高等院校。
1971年，淮南煤矿学校与合肥工业大学矿业类专业合并组建成淮南矿业学院，1972年招生120人，教职工421人。1978年师专恢复，名为安徽师范大学淮南专科班。至此，淮南有普通高校2所，在校生1801人，教职工1073人。1984年淮南联合大学创办。1985年华东煤炭医学专科学校建立。到1990年，全市有普通高校4所，总共在校生达4646人，其中研究生60人，本科生2370人，专科生2216人，教职工1964人。建国40年来，淮南市普通高校共培养出研究生41人，本专科毕业生9480人。
80年代以来，成人高等教育得到较快发展。淮南职业医学专科学校于1979年创办，安徽广播电视大学淮南分校、淮南教育学院于1982年创办，淮南矿务局职工大学、淮南市机械局职工大学成立于1982年。到1990年，全市有成人高校5所，在校生3575人，教职工455人。10年共培养大专毕业生5979人。