清光绪二十七年(1901)以前，本县官方设书院，民间办私塾。光绪三十二年(1906)始建新式高等小学堂。民国建立，县办、区办、族办、私办小学不断出现。民国18年(1929)，全县公私立小学30所。此后近十年，虽经推行义务教育，但小学教育依然徘徊不前。抗日战争期间，所有小学教育仅处维持状态。唯保兴小学和皖江第二联中成绩显著。抗日战争胜利后，县政府继续推行“政教合一”，乡(镇)、保国民小学有所发展，县立初中也得以恢复。但由于战争频繁，教育事业深受其扰，致使初中只3个班，小学学龄儿童入学率仅达27％。
1951年，民办小学普遍兴起，1953年，开始建立正常教学秩序。1958年，实行“两条腿走路”的方针，普及小学教育，发展初中教育，新办职业教育。1961年开始，压缩规模，调整布局，集中力量提高质量。1965年，兴办耕读小学和农垦学校。“文化大革命”中，教育首当其冲，历经劫难，教育质量大幅度下降。1969年，城镇中学下迁，社社办中学。1971年，各人民公社自力更生，多种形式办学校，小学普及率逐年上升。
1978年后，教育开始出现新的局面。至1986年，全县小学毕业生升初中率已达70％；乡、村小学基本实现“一无两有”(校校无危房，班班有教室，人人有桌凳)；中等教育稳步前进；幼儿教育发展到村，且独立设置的园所增多；已有九个乡(镇)基本扫除少、青、壮年文盲，并举办业余高小，各种职业技术学校、函授、电大、高等教育自学考试等成人教育已初成体系。