清朝末年，“废科举，办学堂”，全区各县先后将书院改为学堂。光绪三十一年(1905年)，霍山奎文书院改为高等小学堂。光绪三十二年，霍邱翠峰书院改为初等小学堂。六安赓飏书院改为六安州中央高等小学堂。光绪三十三年，六安、寿县、霍邱、舒城等县的县城和较大的集镇均办有小学堂。舒城县就有12所，其中高等小学堂4所(内设高级和初级的又称两等小学堂)。初等小学堂8所，教职员56人，学生740人。
民国元年(1912年)，推广小学，全区计办高等小学35所，初等小学100余所。民国18年，增至466所。民国23年，减至312所，其中完小83所，初小229所，在校学生仅22189人。民国24年，国民政府颁发《实施义务教育暂行办法大纲》。同年，教育部在《一年制短期小学暂行规程》中指出：“各县、市、乡缺乏学校的小学区，应尽先尽量设置短期小学，以期教育易于普及。”当年，全区办短小120所，入学儿童5953人。民国27年，日军入侵，大部分小学停办。立煌县麻埠镇青年抗敌协会为解决流亡难童的求学问题，在麻埠镇办起一所“难童识字班”，免费招收76名难童，进行一至四年级的复式教学，一年后停办。民国28年，省教育厅先后在立煌王家湾、寿县芍西、舒城保治庵、霍山县城、六安张家店、霍邱叶集等地各设临时小学一所。民国30年秋，国民政府颁布实施国民教育五年计划，全区设立中心国民学校310所，国民学校1558所，在校学生95581人。到建国前夕，全区有公、私立小学598所，1197个班，教职员2171人，在校学生31858人。
解放初，人民政府妥善接收和整顿遗留下来的各类学校，恢复正常教学秩序。1949年底恢复391所，有教职员2015人，在校学生34600人。1950年，六安专署制定了《整顿小学教育方案》(草案)。在国民经济恢复时期，全区小学教育发展很快，由1950年的794所，在校学生55128人，发展到1952年的2236所，在校学生200605人，适龄儿童入学率由13.6％提高到30.1％。1952年，地区还在六安城内创办皖西烈士子弟小学，选派老干部王光甫任校长，1961年停办，毕业10届学生，214人。1953年，教育事业纳入国家计划的轨道，根据“整顿巩固，重点发展，提高质量，稳步前进”的方针，到1957年共有小学2034所，在校学生320734人。1958年，地、县均成立“文教大跃进办公室”，制定《初等教育大跃进规划》，全区小学当年发展到3962所，在校学生增至535668人，很多小学属一哄而起，巩固率不高。
1959年至1961年，国民经济处于暂时困难时期，入学人数减少，教学质量下降。1961年全区只有公、民办小学1999所，适龄儿童入学率为59％。1963年至1965年，在“调整、巩固、充实、提高”八字方针指引下，各县调整布局，办起一批半耕半读小学。基本做到每公社有一至二所公办完小，每大队有一所公办小学和二至三所耕读小学。1965年，全区计有公、民办小学10301所，在校生501303人，教师18299人。
“文化大革命”十年，全区小学教育遭到严重破坏。1967年，全区有小学6497所，在校生381786人，大部分小学停止上课。“文革”后期，陆续复课，为普及初等教育，农村兴办一批简易小学。1974年，全区有小学8948所，在校生797940人，其中超龄学生占10.8％。
粉碎“四人帮”后，1977年全区小学8190所，在校学生908708人，适龄儿童入学率达93.3％。1978年，由于强调正规化办学，附设初中班增多，有些小学布局不合理，学生流失现象严重，全区流生数达137140人，学校减至5655所，入学率下降为88.9％。根据全国教育工作会议精神和省委关于认真办好一批重点中小学的要求，地区确定舒城县舒茶小学、金寨县列宁小学、霍山县诸佛庵小学和六安县城北小学为地区重点小学。各县、区(镇)、公社也分别确定了一批重点小学。1979年，六安城区新建七里站小学、淠河小学，扩建皖西路小学、南外小学。经过调整，1980年全区有小学5486所，在校学生1032327人。1984年，霍山县和六安市普及初等教育，并经行署、省政府检查验收合格。1985年，制订《六安地区九年制义务教育实施方案》。年底，全区有155个乡镇实现普及初等义务教育，小学4046所，在校生805760人，教职工30892人，其中专任教师28521人，适龄儿童入学率为91.9％。