光绪三十二年（1906），芜湖县劝学所就文庙东儒学署开办，设董事5人，坐办1人，为全境学务之总汇。民国元年（1912）劝学所中止。民国三年（1914），县设视学员，由地方公举，县知事委任，负责考察境内学校状况。民国四年（1915），县学款经理处成立，设董事2人，专管本县学校款产。民国七年（1918），县劝学所恢复，设所长1人，劝学员2人，按照定章劝办地方教育。所长每一学年内周历县内各区一、二次，劝学员每一学期内周历所任区域二次以上。后学款经理处奉省令并入。民国十年（1921），省在芜湖设立商埠义务教育事务所，推行城区义务教育。
民国十四年（1925）二月，芜湖地方教育行政会议议决，改劝学所为教育局。十月，芜湖县教育局成立。县教育局长商承县知事主持全县教育行政事宜。教育局设董事会，董事任期三年，以教育局代表国家，以董事会代表地方。董事会之职务为审核教育方针及计划，筹划教育经费和保管校产等。教育局将乡镇酌划学区，每学区设教育委员1人，负责各该区有关教育事宜。局内设总务、学校教育、社会教育三股。民国十八年（1929）三月，芜湖城区设市政筹备处，市、县教育分开。市政处第二科管教育，商埠义教所奉令归并。民国十九年（1930）十一月，市政处撤销。一度划为市属的学校经省政府接收仍交县教育局管理。民国二十三年（1934）二月，县教育行政管理划归安徽省第二区专员公署第四科教育股。
民国二十六年（1937），县政府重设教育科。年底，日军入侵，教育科随县府迁往县区边境（靠南陵县）。民国二十八年（1939），日伪芜湖县教育局成立，有员工13人，分总务、学校教育、社会教育三课。
抗日战争胜利后，民国三十六年（1947）五月，芜湖县政府教育科改为县教育局。局内先设三科，后并为两科，一科主管总务和社会教育，二科负责国民教育和中等教育，另有督学八人，全县分城区等四个督导区。
1949年4月，城区设市。6月6日，芜湖市人民政府教育局成立，负责主管全市小学教育，并受皖南人民行政公署委托，兼管师范学校与各公、私立普通中学、职业技术学校。各区人民政府设文教卫生股，管辖民办小学、私塾与市民业余学校，并配合市教育局管理境内公、私立小学。1950年1月，中共芜湖市委宣传部、教育局、人民文化馆等单位组成人民业余教育指导委员会，负责推进市民、职工及农民业余文化教育。1951年至1954年间，市教育局先后改为文教科、文教局。1951年3月，全市公、私立小学划分为10个辅导区，分设10所中心小学（含郊区4所）。1952年10月，市扫盲运动委员会成立，成人业余文化教育重点突出扫除文盲。1956年5月，撤销市文教局，成立市教育局，内设各业务机构为中教、初教、工农教育、人事、财务等五股。1959年1月，芜湖专区文教办公室与芜湖市教育局合并为芜湖专署教育局，9月，恢复市教育局。1962年3月，按照省订分级管理办法，市教育局接受省教育厅委托代管完全中学和师范学校。1963年，市教育局内属各股改为科，增设秘书科。1965年，又增设半工（农）半读教育科。1966年2月，市人民委员会成立芜湖市半工（农）半读教育领导小组，着力推行两种教育制度。
1968年，解放军、工人、贫下中农毛泽东思想宣传队分别进驻和管理市和郊区的大、中、小学校和幼儿园。不久，实行“厂校挂钩”“工厂接管学校”。1969年10月，市革命委员会政工组设教育小组，管理普通教育和“七·二一”工人大学。1970年11月，市革命委员会教育局革命领导小组成立，内设政工、教育革命、办事三个组，次年8月改为芜湖市教育局革命委员会。
1978年3月，恢复教育局建制。局内设中教、小教、业余教育、校办生产、财务基建、政工等科和办公室。1979年5月，市辖6个区分别设立教育科，负责全面管理境内的小学、幼儿园。10月，组建市工农教育委员会，重新安排农民扫盲和职工双补教育（文化补课、技术补课）。1983年7月起实行市带县新体制，市教育局对所带县教育局实行业务指导。1984年6月，局内增设督导室，有督导员9人。
1985年10月，芜湖市教育委员会成立，时为全省实行教委体制之第一家。市人民政府一位副市长兼教育委员会主任，设4位专职副主任，并由市计委、经委、建委、科委、财政局、劳动局、人事局等部门负责人任兼职委员。原芜湖市教育局撤销。市教育委员会（简称市教委）对全市各类教育进行宏观管理，并相应地作了内部机构调整，设普教、职教、高教、计财、人事、校办工厂管理等科和办公室、政治处、纪检委（以上均为副县级机构），还设有中等教育结构改革、高校招生、高等（中等）自考、大学生分配等办公室（与有关科室合署办公）和直属事业机构如市教学研究室（与市教育科研所合署，为副县级）、电化教育馆、教学仪器站、教育房产管理公司、劳动服务公司、教育志编纂委员会办公室等。同年，市人民政府还主持建立高等院校协调小组，协调处理在芜省属高校与芜湖市有关联的重要事宜。