本世纪初，淮南的一些富绅以办学为荣，纷纷兴办学校，如赖山小学、廖家湾小学、倪家瓦房小学、洛河小学、地藏庵小学等。民国19年（1930年）以后，舜耕山初级小学、九龙岗煤矿局职工子弟小学、八公山朱岗小学陆续兴办。抗日战争时期，倪家瓦房小学、赖山小学、朱岗小学先后停办。民国35年，淮南煤矿局兴办九龙岗小学，有22个班，1000多名学生，是淮南矿区规模最大的一所学校。至淮南解放前夕，矿区共有小学25所，在校生5450人，教职工189人，适龄儿童入学率20%左右。
1949年，人民政府接管市区全部学校，对教育事业实行恢复、整顿和改造的方针，国家办学和群众办学同时并举，到1952年，小学发展到74所，在校学生19744人，教职工685人，其中矿办小学6所，90个班，在校生4702人。1952年，市政府逐步收回厂矿私立学校。1956年，对小学教育进行了一系列调整，精简了教职工队伍，小学由1952年的98所减少为70所，在校生达到29386人。
1958年，厂矿部门大办学校，几个月时间就办了27所小学校，使全市学校增加到110所，其中厂矿机关街道办学41所，在校生5121人；公立小学69所，在校生33642人。入学儿童占适龄儿童总数的97.65%，大大超过了办学的客观条件，教学质量严重下降。1961年，撤销部分农村小学，将25所公办小学转为社办或民办，动员了1309名24周岁以上的超龄学生回乡参加农业生产。1963年，大办耕读小学，小学由1961年的140所增至173所，在校生55744人，其中民办学校45所，在校生9858人。
“文化大革命”期间，提出“小学不出队，初中不出大队”的要求，学校下放给厂矿乡村管理，废除入学考试，一些小学办起戴帽初中班，学制多变，教材混乱，教学质量严重下降。
1978年，市教育局摘掉戴帽初中班，收回下放的小学，教学秩序逐步得到恢复。1980年，加强了对小学教育的指导，对教师进行培训，提高教师待遇，维修和兴建了一批校舍，健全了学校的规章制度，教学质量逐年提高，至1990年，市区共有小学593所，在校生203780人，教职工8902人，适龄儿童入学率达98.6%，小学毕业升学率为78.32%，做到了村村有小学，全市实现普及初等教育，普及率达到或超过国家规定标准。