民国31年（1942年），汪伪大通特别行政区在田家庵兴办定淮中学，招收3个初中班150多名学生，后并入怀远中学。民国35年，淮南矿务局在九龙岗（现市十四中校址）兴办淮南矿路员工子弟中学。民国37年，朱少文等人创办八公山私立初级中学。
1949年，淮南煤矿特区政府接管了淮南矿路中学、八公山私立中学，并进行整顿和改造。1950年，八公山私立初级中学并入淮南矿路初级中学，并更名为皖北区淮南初级中学，在校生350多人。1951年为适应煤矿工人子弟入学需要，建立淮南煤矿职工子弟学校，接收淮南初级中学校址及学生。淮南初级中学迁至田家庵淮舜路（现淮南七中校址）。1952年又迁至姚家湾（现淮南化校校址），始设高中部，并更名为淮南中学，成为淮南市第一所完全中学。
1954年，市人民政府在田家庵商业区兴建淮南初级中学，招收初一学生500多人。
1955年，随着农业合作化高潮到来，高小、初中毕业生数量迅速上升，淮南煤矿职工子弟学校设高中部。1956年，市政府在姚家湾兴办淮南第二初级中学，在九龙岗、洛河、大通共开办9个班级，1957年搬至蔡家岗。同时，根据“加速发展，提高质量，全面规划、加强领导”的方针，制订教育事业发展规划，将全市中学统一篇号，即淮南第一、二、三、四、五中学。至此，淮南市共5所普通中学，其中两所完全中学，在校生初中4117人，高中577人，教职工380人，其中专任教师初中150人，高中27人。
1958年，随着“大跃进”的深入发展，教育开展了以勤工俭学、教育与生产劳动相结合为中心内容的教育革命。市教育局投资17万元，分别在李二矿、大通等地兴办4所初级中学，即淮南第六、七、八、九中学。同年淮南第三中学设高中部。全市中学生达到6208人。1959年，贯彻“巩固提高、重点发展”的指示，中学教育加快了发展速度，各厂矿事业单位在完全小学的基础上开始设立初中班。到1960年，普通中学发展到15所，其中初级中学12所，完全中学3所，在校生8198人。1965年，市教育局兴建第十、十二、十三中学，并将1964年所办的淮南第一职业学校更名淮南第十一中学，使普通中学增至18所，其中初级中学14所，完全中学4所，在校生11532人。
1966年，“文化大革命”开始，学校停课，图书、仪器、体育器材受到严重破坏。1968年，“工宣队”进驻学校，成立“三结合”革命委员会，将师生按班、排、连统一建制编队。1969年，各中学初中部开始招生，学校由1968年的17所增至20所，部分完全小学开始附设初中班，初中生由1968年的6308人上升到18786人。1971年，教育部门和厂矿企业单位办的初级中学大部分升格为完全中学，使完全中学由4所增到20所。
1976年，各中学开始进行拔乱反正工作，1977年教育部制订了《中学暂行条例》，逐步恢复学校规章制度，但仍受“左”倾思想干扰，淮南市初、高中招生比1976年增加1万多人，给学校师资、校舍、经费等方面造成了很多困难。
1978年以后，根据“调整、改革、整顿、提高”的方针，对中学教育进调整，压缩高中，整顿初中。1982年，初级中学由1977年的30所上升到54所，完全中学由1979年的50所下降到30所，中学结构趋向合理，逐步恢复“文化大革命”前的管理体制。在教学上，认真总结经验教训，探索教育规律，并对省、市重点中学的师资、经费统筹规划，相对集中，改善办学条件。建立健全教学研究网络，教学秩序逐步走上正常，教学质量有了很大提高。
1986年，为改革教育管理体制，扩大地方政府和学校的管理权限，除一中、二中外，将市管18所中学下放给所在区教委管辖，但由于区教委对管理中学教育尚不具备条件，产生了一些问题。1988年9月，根据省、市政府指示精神，将18所中学重新收回市教委管辖。1990年，全市共有普通中学141所，其中初级中学98所，完全中学43所；在校生84110人，其中初中73160人，高中10950人。基本上做到乡有初中、区有高中，各大型厂矿企业有中学，城乡教育事业稳步协调发展。