清·光绪二十二年（1896），中华基督教芜湖卫理公会在状元坊开办育英学堂，乃外国传教士在芜湖设立小学堂之始。继后，中华圣公会在芜湖洋街设广益学堂，芜湖基督教公信会在吉和街北首办有男、女小学堂。清，光绪二十九年（1903）二月，皖南道刘树屏就中江书院原址创办皖南中学堂附设小学堂，开芜湖官办近代初等教育之先例。清·光绪三十一年（1905），西门外积善堂设有公立襄垣小学堂。二街三圣坊公立徽州两等小学堂与城内薪市街泾县旅芜两等小学堂先后开设。光绪末年，芜湖有小学堂17所，其中官立5所，乡绅捐资开办的有6所，教会私立的有6所。其时，高、初等小学修业年限各为四年。
民国建立，新学日昌，小学堂改称小学校。芜湖米业公所在驿前铺办有米业高等小学校。芜湖总商会在城内西门詹家巷设立模范小学，后改为乙种商业学校。芜湖基督教来复会在冰冻街开办毓秀女子小学和萃华男子小学。民国四年（1915）初等小学改称国民学校或国民班。其后，一至四区分别在东门大街、北坛、中菜市、西瓜墩建有第一至第四国民学校；城郊农村也出现新式小学，如濮家店有公立北乡第一国民学校，官陡门有北乡第二代用国民学校。“五四”前后，高等小学改为三年制，芜湖城乡小学有30余所。其时，私塾甚多，县劝学所曾开办塾师讲习所。
民国十年（1921）十月，芜湖商埠义务教育事务所成立。第一期首批义务小学开学时，有学生143人，教员13人，其后陆续增设商埠第一至第十初级小学和第一至第八女子初小。为推行义教计划。芜湖商埠一度划分为五个学区。民国十一年（1922）施行新学制（壬戌学制），规定初小四年不变，高小改为二年，小学六年毕业。
创办女子小学堂一度受社会重视。民国十五年（1926），芜湖女道德社于来复会存仁里十三号，设立女子平民小学，偏重国文及缝纫、刺绣等手工科目。私立女子道华小学，办学三年，申请公立获准，经费列入县款预算。
民国十八年（1929）前后，随着城市手工业和商业的兴起，芜湖县立小学和私立小学陆续增加。城区和近郊累计有小学80所，其中，省立小学（二女师附小）1所，县立完全小学7所（除县立米业小学外，以序号为名），县立城区、北区初级小学25所，商埠初级小学18所，工人子弟小学4所，私立完小5所、初小12所，教会办的小学8所。民国十八年春，各县立小学计有学生1914人，其中完小学生1037人。县立初小学生中女生仅12人，只占学生总数的1.3％。同年三月，芜湖市政筹备处成立，十月，原商埠各初级小学改称芜湖市立小学（冠以序号），并接收县移交市管的完小3所，初小11所，私立初小8所。民国十九年（1930）十一月，市政处撤销，原辖小学经省接收后仍交县管理。
民国二十年（1931），水灾奇重，小学校大都停课。唯省立芜湖二女中附属小学，地处西门口高地，尚能正常开课，10个班级，学生425人，教职工37人。同年，裕中纱厂开办子弟小学一所，后改为工人第五子弟小学。民国二十一年（1932），芜湖县教育局以国难时期，应教育学生报仇雪耻，请军事机关派员训练各校体育教员，转以训练全县学生。万慈、三街、中江等小学师生节省零用钱，并上街募捐筹款，汇往东北抗日义勇军。县立一中心小学教师还自编抗日教材，课外轮流宣讲。其时，安徽省设六个教育实验区，将省立芜湖二女中附小定为实验小学之一。民国二十三年（1934），芜湖县为推行义务教育，设立短期义务学校（学制二至三年），严格考核义教成绩之优劣，以定奖惩。其间，芜湖公立小学又有增加，如县立第一初小、城区初小、一区初小等小学；有以地方取名的雨香庵、北坛、罗家祠、北门外、江家桥、孤山坝、奚长村、张公桥、鳌鱼埂、韦家大院、牛车巷、吉和街等初级小学。同年，县教育局举行首次小学毕业会考，城区20所高小，近400名毕业班学生，实到360名，成绩优良完全合格者占考生总数84％。安徽省第二区（芜湖）专员公署第四科教育股，再次制定短期教育实施计划，先在实验区办短期小学6所，12个班级，以为示范。
民国二十六年（1937），日军入侵，学校全部关闭。次年秋季，伪自治会先在原铁锁巷小学校址设“模范小学”。民国二十八年（1939）春起，伪县公署（县政府）陆续办有一些城区小学。私立内思小学也恢复上课。民国三十年（1941），城区有小学23所，民国三十四年（1945）春，芜湖有公立小学34所，其中县立小学设高级班的仅7所11个班。敌占时期，推行奴化教育，增设“日语”、“东亚新秩序”等课。芜湖小学教员抵制奴化教育，有的教员在周会课上讲精忠报国的岳飞、抗击倭奴的戚继光等故事，一些学校师生拒不参加升日本旗的仪式。
抗日战争胜利后，民国三十五年（1946），当局规定各镇中心小学兼设民教部，并辅导私塾，保国民学校只设儿童班（一、二年级）。芜湖城区仍以私立小学为多。民国三十七年（1948）九月，芜湖有县立小学16所，私立小学32所，在校学生9000多人。民国三十八年（1949）四月，中国人民解放军百万雄师渡长江，芜湖公私立小学师生照常到校，秩序平稳。
1949年6月，芜湖市人民政府教育局接管公私立与教会办理的小学，计有镇中心国民学校、保国民学校和县立师范附属小学共16所，私立小学28所（含教会办的私立小学7所），学生9749人，教职员工435人。（公私立小学概况见表1）原县立小学改为市立小学。对私立小学在政策上给予保护，鼓励其在人民政府统一领导下，转为工农大众服务。其时，有私塾80多所（学童近千名），政府着手调查登记，加以管理与改造。1950年9月，芜湖县第八区（十里区）划归市辖，有小学23所（学生1322人），其中大部分为多级复式（两个年级以至三、四个年级合在一个教室上课）的单班小学。土改后，郊区农村小学有所发展，出现了新型民办小学。次年春，市教育局将市区小学分为六个学区，确定砻坊、长春、中山、花津、尚来、吉和等六所小学为中心小学，每个学区辖5—6所小学；郊区为四个学区，确定濮店、大胡村、官陡、陈山等四所小学为中心小学，每个学区辖6—11所小学。1951年前后，一些私塾自动停办，具有一定教学能力的塾师被接纳到公办小学，学生也转入邻近小学。部分私塾合并改办私立小学或民办小学。芜湖市私塾与学校并存的局面，自此结束。
解放初期，芜湖沿用“四·二”学制，教材临时删减替换，废除反动的童训课，设政治常识课。1952年秋季，各小学一年级试用五年一贯制新教材（一年后停止试验）。同年，人民政府接收原由外资津贴的教会小学7所，首批接办经费困难的私立小学5所，均改换其名称。
三年经济恢复时期，芜湖市小学得到较快发展，1952年年终，小学增加到133所，在校学生2.6万多人，是解放前的2.5倍。但据市政府文教科调查，存在着盲目发展的偏向，致使一部分小学教师素质不高，学校布点不当，校舍不合规格，1953年调整合并了部分办学条件差的学校。时有小学104所，448班，学生2万余人，教师753人。应届毕业生由1949年的868人增至1855人。其时，学习苏联教学经验，各校普遍开展研究教材、改进教法的活动。
1954年5月底，洪水成灾，仅环城东路地势较高，尚有砻坊、高城坂、一初中附小、罗家闸等学校、坚持上课，其他高地部分小学安顿了受灾居民。郊区54所小学有40所被淹。秋初，郊区教师结合生产自救，组织流动学习小组，包教包学，送教上门。市区，利用部分高地成立临时小学，学生就地入学。57所小学校舍被淹塌或严重损坏，政府拨款1.79亿元（旧人民币），维修或重建校园。10月，文教局将长春、中山、尚来、吉和等中心小学改按序号称第一至第四中心小学，还将芜湖第一初级中学附小与高城坂小学合并改为第五中心小学，花津中心小学改称为第六中心小学。(砻坊中心小学改为砻坊小学）郊区撤销陈山中心小学，改设阳垾、赭麓两中心小学。1956年，郊区增设3所中心小学（港口、晋李、合山），全市小学共分14个中心学区。
1957年秋季，教育局接收聋哑、清真等11所私立小学。至此，芜湖市私立小学全部改为公立。其时，有小学91所，642班，学生2.88万人，累计毕业生1.7万人。少数小学规模明显扩大，如第一与第二中心小学，学生数都在千人以上。（校名及概况见表2）
1958年，浮夸风盛行，有的小学试办“四同”式（即师生吃、住、学习、劳动在一处）的“共产主义”小学。教师支援“钢铁元帅上马”，劳动频繁，甚至通宵达旦，还要办小工厂、小农场，正课有时被停上；“放卫星”、“满堂红”等“高指标”竞赛活动被引进小学，教学秩序紊乱，质量下降。1960年6月，城市公社化，各小学一度由公社管理。1962年，市内3所公社（区）中心小学撤销，保留5个辅导区。郊区下属小学按公社划为赭山、鸠江、官陡、西江、四山5个辅导区，分由赭麓、濮店、阳垾、湾里、四山等5所中心小学负责业务辅导。1963年，市郊23所单班小学实行公转民（由公办改为民办）。在两种教育制度推动下（全日制与半工半读、半农半读制），1964年郊区耕读学校大发展，最多达160个班级，教室不够用，开二部制。1965年，全市有小学282所（含民办小学、耕读小学138所），1293个班，学生5.72万人。翌年，芜湖造船厂等5个省属和中央部属工厂的职工子弟小学的业务领导交给地方。
“文化大革命”期间，小学教育机构变动频繁。原有辅导区名存实亡，一些小学校长被“踢开”，学校设备遭破坏。有的学校自行更名，如冠以反修路、井岗山、八·二五等校名。1967年，改为春季招生，并从一年级起改为五年制。1968年由“工人毛泽东思想宣传队”、“贫下中农管理学校委员会”进驻城乡学校，领导一切。农村小学下放生产大队办理。市区各小学成立革命委员会或革命领导小组，负责人称为主任或组长。1969年起，市区各小学由工厂接办，实行行政管理与思想领导。同年，划片（按辅导区）成立战备团，按序号为第十五至二十三等九个战备团，负责人由工宣队队长担任。1971年，市中心三个区的小学，改划为九个学区，（镜湖区1—5学区，新芜区6—8学区，马塘区为9学区）成立学区革命委员会。26所小学附设初中班改名为“芜湖市××学校”。1974年，工厂自办子弟小学54所，学生7494人；街道办“抗大式”民办小学95个教学点，有一、二年级学生3916人。公、民办幼儿园内设小学一、二年级14个班，学生740人。后几年间，小学校增至330多所，其中有些单位不具备办学条件，用的是土台子，泥凳子，且严重缺乏合格师资。由于小学毕业生不经考试全部直升初中，容纳不下，市郊先后有34所小学增设初中班，继而有21所小学陆续被撤销改为中学。1975年，市中心地带又改按行政区成立镜湖、新芜、马塘三个学区，下设政治工作组、教育革命组、办事组。
小学原有教材被停用。1968年“复课闹革命”时，各科以《毛主席语录》为中心教材。1971年起采用省编课本，市革委会教育局自订课程设置方案，各年级都设有“天天读”和“毛泽东思想”课，继后“开门办学”过多，教学常规无保障，教学进度常常完不成，成绩考核等教学制度被废止，学生知识贫乏，教学质量大幅度下降。
党的十一届三中全会后，国家颁布新的教学计划，重新出版小学各科课本，教学重视“双基”（基础知识、基本技能）训练，学校管理有所加强。全市小学恢复秋季始业。育红、罗家闸、狮子山、延安等4所小学，分别被确定为芜湖市和镜湖、新芜、马塘三个区首批办好的重点小学。1979年5月，经市政府决定，将市区46所公办小学交所在地的区政府管理，各区成立教育科。厂办小学分别由所在区进行业务辅导。郊区小学由区、乡人民政府（公社革委会）领导，以乡为主，1982年秋起，市区小学试行六年制。1983年，近郊19所小学也从一年级起改为六年制。同年7月，当涂县大桥公社12所小学，再次划归芜湖市郊区。
1984年，市区学龄儿童3.57人，在校学生3.52万人，入学率达98.59％，初等教育普及率为99.2％，在校学生巩固率98.7％，毕业班学生毕业率91.4％。1985年，市区（含郊区）实现了普及小学教育的基本要求，经安徽省人民政府检查验收合格。同年起，市区小学毕业考试与升学考试，合并进行，小学毕业生全部升入初中，继续接受初级中等教育。由于计划生育国策的有效贯彻，市区人口出生率下降，学龄儿童有所减少。几年间，市中心有9所小学经调整布点停办（其中1所改为幼儿园）。有两所小学（赭山小学、芜湖师范附小）因新住宅区向郊外延伸而移点至新区，按最新设计标准，分别建成24个班级规模的教学大楼和校园。1985年，市区小学（含郊区）126所，868班，在校学生3.98万人，教职工2581人，累计小学毕业生22.216万人，（校名及概况见表3）教职工队伍比较稳定，教学秩序正常，业务研究不断深入，并有少数小学采用部分试验教材，推广先进教学经验。
表11949年5月芜湖市公、私立小学概况一览

表21957年芜湖市小学概况一览(1957年10月)

表31985年芜湖市小学概况一览(1980年10月)