明、清时期，县内设有书院；清末、民国时期，城乡多为私塾。光绪二十六年(1900年)，县内设置官立高等小学堂，开安徽小学教育之先端。宣统三年(1911年)，首建潜山县中学堂。民国12年(1923年)，创办天柱中学。第一次大革命时期和土地革命时期，县内进步知识分子程千里、王步文、余大化、余良鳌、徐勋、汪旭东、胡绍瑗、王贯之等，先后在县内或办学，或教书，以学校为阵地，开展革命活动，同时促进了国民教育的发展。此后，由于时局的变化，县内教育时兴时衰。民国34年，全县共有乡、保国民小学218所，学生12440人，教职工587人。潜山解放前夕，乡、保国民小学普遍停办，城乡初等教育，多为私立小学和私塾，此时全县有私塾337所，学生2503人，塾师339人；有各类中学5所，学生800人，教职工80人。
建国后，县委、县政府十分重视教育事业。尽管由于左倾错误的影响，在反右派斗争和“文化大革命”时期，不少教师遭受迫害，学校教育损失严重，但在较长的时期内，县内教育事业是不断发展的，特别是党的十一届三中全会后，经过拨乱反正，平反冤假错案，落实党对知识分子政策，提高教师的社会地位，调整学校布局，改革教育体制，提高师资质量，县内教育事业获得较快较好的发展。1985年，提前两年实现普及初等教育的任务。1987年，全县有小学668所，在校学生59124人，普及率为97.5％；有普通中学44所，其中高中5所，在校学生19236人，其中高中学生2616人；有中等职业学校8所，在校学生1831人。是年，全县有中、小学教职工4294人，其中中学1449人，小学2845人。1977—1987年，向中专以上学校输送新生达4504人。1982年，参加高等学校和高中专考试的录取比例，由原名列全地区10县中的第四位跃居到第一位。在中、小学教育健康发展的同时，幼儿教育、成人业余教育、函授电大教育和自学考试等，都取得较好的成绩。