一、私塾
清代废科举兴学堂前，城乡初级教育的办学形式主要是设置私塾。清末和民国时期在兴办学堂的同时，私塾仍普遍存在，直至解放前夕。
私塾的设置方式有门馆（塾师居家，立馆授徒）、东馆（豪富自设家塾，聘师课子）、团馆（又称联馆，大家族延师立塾专教一姓子弟，还有几姓家族或几村联合设馆聘师授课）等数种类型。入塾读书要向塾师交“束修”（学费），多以粮食为主，数量无统一规定，一般为家长与塾师面议。有的还鉴订类似合同的“关书”，或称“馆书”。
按教材深浅和生徒学业程度，私塾教学有启蒙和开讲之分，因而有蒙馆和经馆之别。蒙馆教材主要有《三字经》、《百家姓》、《千字文》、《四言杂志》、《幼学琼林》、《弟子规》、《昔时贤文》等。经馆教《四书》、《五经》、《古文观止》、《龙文鞭影》、《论说精华》等书。
教学方式是单人面授，教师照本宣科，学生死记硬背。教学进度，因人而异，各不相同。启蒙生主要认读和描红（习字）；开讲生主要串讲习对，作文赋诗，临帖习字，有的还增教珠算，增教史书。私塾学规严格，强调尊师重道。学生稍有不轨或成绩不好，轻则遭训斥，重则受体罚。对待教师，学生一般都很敬畏，家长更是尊崇，有的家中还供奉书写“天地君亲师”的牌位。
民国18年（1929）和民国21年，安徽省教育厅两次下达改良私塾训令，限期培训塾师，规定了私塾课程，对塾舍、学额进行一走程度的管理。民国26年，安徽省教育厅制定了《私塾改良办法二十一条》，开设了算术、常识等新课。由于塾师的知识结构不同及其他原因，私塾改良并不彻底。今地城区郑湾乡白集村，解放前有两馆私塾，一馆塾师为清末老童生刘金励，仍教《四书》、《五经》旧教材，教学生作文言文；另一馆塾师是上过蚕桑学校的刘维仁，教传统教材也教算术、珠算，还教学生作白话文。
今阜南境内解放前著名塾师有朱寨乡朱凤鸣、朱炎昭（飞仙）、小润河村陈承勋、刘店村刘中甫、老观乡杜寅宾、柴集乡倪洪文、地城乡王家珍（聘三）等人。
二、义学
义学历史较久，清代中期大兴社学、义学。义学或官办、私办，或官办民助，均免费教育。多由地方士绅为董事，以公产、学田地租收入或私人捐输为经费，就饲庙或地方公所办学。聘请举贡生员或名士为师。学期不定，多以数月为一期，轮训平民子弟。教材无统一规走，一般与私塾相同，没有课试制度，但在普及识字及贫家子弟接受初等教育方面，起过一定作用。
清嘉庆至道光年间，阜南兴办有三所义学：中村集（今中岗）义学，嘉庆十年（1805)监生卢持中捐资在集西创建讲堂30余间，又捐资二千金买产收租，为业师束修膏火费用，每年延师教授。清光绪年间，曾聘举人朱炎昭及倪嗣冲之父倪洪文等任教。
柴集义学，在柴集老街三姑娘庙，道光四年（1824）生员倪会曾捐买集市收租创办，用价一千余金，曾聘请贡生向荣任教。
方集义学，道光五年（1825），由方集绅民捐资在集北创建，有讲堂、学舍20余间。
三、学堂
清光绪二十八年（1902），清廷颁布《厘定学堂章程》，诏令全国广设学堂，光绪三十一年，废除科举。各地相继改原有书院为学堂和兴办新学堂。中村岗回民，借清真寺南跨院八间草房，兴办“经汉学堂”。公推马延年为堂长，锁向南、查介人执教。学生回汉兼收，经费由当地自筹。这是阜南首所学堂。
民国3年（1914）春，阜阳县劝学所所长俞爻吉委派颍州初等师范学堂1913届毕业生宁廷禄（阜阳城人）、戴朝岑（今阜南双碑湖人）、阎翰生（今临泉艾亭人）三人为教习，来阜阳南二镇（薛集，今阜南城关）创办“阜阳县南二镇骆寺小学堂。”用骆寺前院厢房为教室，开始招收学生70余名。复式教学，课程有国文、算术、修身、体操、唱歌五科。经费来源于没收庙产的一半为学田，学田为265亩3分6厘。因骆寺学堂教学认真，民国15年秋，阜阳县劝学所曾给予“恬静有恒，诲蒙有方”的嘉奖。
民国18年创办冷寺高等小学堂，原址在今冷寺农场。招收6班200余名学生，冷纯修任校长。冷寺学堂还是一所具有光荣革命传统的学校，当时阜阳中心县委为在农村发展组织，建立革命据点，派组织部长李光宇（又名李其荣））化名姜永之和县委委员吴端甫，以教员身份在该校秘密领导当地革命工作。姜永之讲授国文课时常结合政治教育，宣传革命思想。同时借家访之名，深入联系贫苦农民，秘密发展革命组织。国内革命战争时牺牲的张耀先、周洪犹等烈士都曾在这里进行过革命活动。民国二十年的老窑湖暴动计划，就是在这里秘密召开特别会议时制订的。