一、书院
北宋景祐四年(1037年)，颍州太守蔡齐奏请立学，获朝廷批准，颍州在全国率先设立州学。皇祐元年(1049年)颍州知州欧阳修创办西湖书院，当时名著天下。清乾隆五年(1740年)移入府城重建。清廷为加强思想钳制，于雍正十一年(1733年)、乾隆元年(1736年)先后两次提倡兴办并嘉奖书院事，书院益加兴盛。阜阳地区各县书院，实际上就是官立学校，所收生员分两类：一是已取得府试进学的生员，每月定若干次来书院听讲，送文章请老师批改，准备应院试或乡试，编入“文生月课”；二是应童试(入县学)及格或相当程度考入院专攻经史，编入“童生常课”，常年住院攻读。书院课程设《四书》、《五经》，为常年住院生员专攻学科，并规定重点钻研朱熹编《四书集注》，为应试之用。必修课程还有：《周易析中》、《六章炯戒》、《新颁学政全书》等。学做八股文，习作“试帖诗”。正课生员每月进行一次课试。
清顺治初年，于颍州仰高祠旧址创建仰高书院。康熙初年，颍上县建河洲书院。康熙年间亳州建朱公书院。雍正六年(1728年)亳州绅民刘恩沛捐资建柳湖书院。乾隆九年(1744年)颍上县监生王芹等创办蔡津书院。乾隆十二年(1747年)颍州改建清颍书院。乾隆十三年(1748年)颍上知县许晋重修书院，易名为梧岗书院。乾隆二十三年(1758年)太和县知县丁文灿兴建寿山书院。乾隆四十年(1775年)太和县知县宋丁奇于倪邱镇创办经锄书院，同治三年(1866年)地方绅士马怀珍捐资重建。乾隆五十五年(1790年)蒙城县创办养正书院。嘉庆十一年(1806年)沈丘集(今临泉县城)创办辅仁书院。嘉庆二十五年(1820年)亳州知州颜祥等创办培英书院。道光二十五年(1845年)太和县知县雷时夏建文峰书院。道光二十六年(1846年)阜阳县知县饶元英创办聚星书院。同治六年(1867年)涡阳县创办义正书院。
清代阜阳地区境内有书院16所，清末废科举兴学堂后，这些书院先后停办，陆续改为学堂。
二、私塾
私塾在民国以前，是阜阳地区城乡普遍存在的主要办学形式。私塾就其设置方式而言，有门馆(塾师在家里设馆收生授课)、东馆(豪门富户延聘塾师课其子弟)、团馆(邻村联合设馆聘师授课，亦称联馆)，凡上学者均要向塾师交“束修”(学费)。根据教材深浅和学生学业程度，又可分蒙馆和经馆，全区各县蒙馆数目大大多于经馆。义学是私塾的一种，又称义塾。清光绪年间，颍州府所辖州、县大兴义学，至光绪三十四年(1908年)有义学60余所。
私塾有严格的学规，强调尊师重道。学生违反塾规，轻则训斥，重则体罚。私塾教材，阜阳地区蒙学馆采用：《三字经》、《百家姓》、《杂字本》、《千字文》、《昔时贤文》和《幼学琼林》等。经学馆采用：《四书》、《五经》、《古文观止》和唐宋诗词等。经书既明后，进而读史。学生于开讲后开始学作文、作诗、习字，中间增教珠算。私塾的教学方式，因人而异，单独面授，教学进度各不相同，着重死记硬背。
民国18年(1929年)、民国21年(1932年)，安徽省教育厅两次下达改良私塾训令，限期培训塾师、整顿改进私塾，并规定了私塾的课程。民国26年(1937年)，安徽省教育厅制定《私塾改良办法二十八条》。同年，全地区改良私塾305所，开设课程增加国文和算术两科。
1948年底，临泉县有私塾168所，其中改良私塾87所。1949年9月，阜阳地区私塾均并入民办小学。
三、学堂
“戊戌变法”次年，清光绪二十五年(1899年)，亳州率先兴办新学，在原柳湖书院旧址创办养正学堂。光绪二十八年(1902年)，清廷颁布《厘定学堂章程》，诏令全国广设学堂。光绪二十九年(1903年)，太和县改文峰书院为经正学堂；涡阳县改义正书院为育智官立高等小学堂。光绪三十年(1904年)，阜阳县改聚星书院为官立高等小学堂；颍上县改梧岗书院为官立高等小学堂。光绪三十一年(1905年)，清政府正式下令废科举，阜阳地区各县相继改原有书院为学堂和兴办新学堂。是年，阜阳县于南城创立蚕桑学堂；蒙城县创办官立高等小学堂和一所蒙养学堂；涡阳县增办2所初等小学堂；亳州将养正学堂改为官立高等小学堂。
光绪三十二年(1906年)，颍州府知府改清颍书院为清颍中学堂；阜阳县又兴办2所高等小学堂；涡阳县兴办4所初等小学堂；蒙城县新办2所初等小学堂；次年，阜阳城创办私立成达中学堂、阜阳师范传习所及社会教育性质的“半日学堂”。
光绪二十七年(1901年)、《辛丑条约》签订后，法国、英国、意大利等外国传教士先后到阜阳、亳州、太和、颍上、蒙城等县建教堂，开设“保守学”、“经言班”和教会学校。
至清宣统三年(1911年)，全地区有各类小学堂123所，其中高等小学堂10所，中学堂5所，蒙养院1所。其分布为：颍上县38所、阜阳县28所、太和县15所、亳州18所、涡阳县14所、蒙城10所。在布局上，大都在县城和乡间较大的集镇上，广大农村仍没有小学。
民国初年，阜阳地区仍沿用“学堂”称谓。随着行政区划变更，在新设区镇内增设小学堂。民国2年(1913年)，颍上县始设女子小学堂1所。