一、抗日战争时期
民国31年(1942)，随着民主政权组织的不断壮大，全县各地普遍建立了民兵组织。民兵组织有两种，一种是基干民兵(又称模范队)，配备武器，主要是大刀、梭标、地雷、手榴弹。其任务是维护地方治安，配合主力部队和地方部队作战；一种是普通民兵(又称自卫队)，不配备武器，其任务是担任通讯、担架、护理伤员、站岗放哨等。是年上半年，全县民兵总数为35630人(基干民兵2447人，普通民兵33183人)。县设总队，区设大队，乡设中队。县长、区长、乡长分别兼任总队长、大队长和中队长。次年，全县民兵发展到51647人。
二、解放战争时期
民国36年(1947)，无为、临江、湖东、无南4个县级民主政权的乡，一般拥有民兵武装70多人，乡长兼任民兵队长。民国38年初，广大民兵积极响应党的“支援人民解放军，打过长江去，解放全中国”的战斗号召，凡18～35岁的民兵均参加了担架队、筑路队，36～45岁的民兵，担任递步哨、盘查哨。在组织水手过程中，广大民兵争先恐后地报名参加，都以能被批准当水手，亲自送解放军过江为最光荣，个个订立功计划，人人争当渡江英雄。从县到基层都成立了支前组织，连同邻县支援的，共有100多万民兵、民工参加了担架、运输、筑路等战斗，涌现了一批如特等渡江英雄车胜科、胡业奎，特等渡江功臣王德金，一等功臣马毛姐等先进人物。1951年国庆，车胜科、马毛姐作为民兵功臣和代表，到北京观礼，幸福地受到毛泽东、周恩来等党和国家领导人的亲切接见。
三、解放后
解放后，民兵工作逐步走上制度化、法制化。1950年，民兵组织体制是：县设总队、区设大队、乡设中队、行政村设小队。1951年，县总队改为县人民武装部，继续负责民兵工作，组织民兵投入土改、镇反、维护社会治安、参加农业合作化运动和完成急难险重任务，1955年全县民兵发展到51245人，其中基干民兵为14312人，编为597个民兵中队。
1956年至1957年初，民兵工作的重点是组建民兵基干队，民兵数量减少。1957年6月，中央军委《关于改进兵役工作的指示》明确指出，应将预备役工作与民兵工作合二为一。全县民兵总数发展到124358人。
1958年，毛泽东发出“大办民兵师”的号召。民兵的组织形式是：在农村，以人民公社组成团，社管委会主任任团长，以下逐级编成营(作业区)、连(生产大队)、排(专业组)、班(生产小队)。机关、学校、厂矿根据单位大小、人员多少，组成团、营、连组织。全县编为1个民兵师、37个团、343个营，民兵总数为451779人。师长、政委都有明确任命，各级党委书记、支部书记分别兼任团、营、连的政委、教导员和指导员。1959年2月到4月，全县开展了民兵组织全面普查工作，清洗了一些政治上的不纯分子，劝退一批年龄、身体等不符合条件的人出队，并吸收了一批符合条件而未加入民兵组织的新民兵。1960年民兵组织调整为以公社为团、大队为营、生产队为连。全县编为29个团、255个营，民兵总数为300861人。因民兵工作搞得较好，同年，芜湖军分区授于无为县奖旗一面，6位民兵代表出席了全国民兵工作会议。
1962年，贯彻毛泽东关于“民兵工作要做到组织落实、政治落实、军事落实”的指示，无为县民兵在组织体制上分为武装基干民兵、基干民兵和普通民兵；在组织形式是县编师、公社编团（营）、生产大队编营（连），厂矿以车间、工段、小组，学校以年级、教学班，机关以科、室编组。在组织领导上，设立各级人民武装委员会，民兵基层干部由优秀的党团员或正直可靠的贫下中农中的积极分子担任，其中复退军人和预备役军官占主要成份，普通民兵营(连)长兼基干民兵连(排)长。1963年，全县编为73个团、593个营，民兵总数为242557人。1963年后，民兵工作结合“四清”运动进行整顿，军政训练开展得比较活跃。
“文化大革命”初期，一度在民兵中组织所谓“民兵指挥部”。1975年，贯彻中央军委扩大会议精神，根据毛泽东“打起仗来，组织地方部队，小县一个营，中县两个营，大县一个团”的指示，对民兵进行整顿，民兵人数再次超过30万，达到335694人，编成74个团，955个营。其中武装基干连149个，有74个武装基干连还配发了武器。在军事训练上突出了“三打”(打飞机、打空降、打坦克)、“三防”(防原子弹、防化学武器、防细菌武器)和近战、夜战的训练。全县建立打坦克班234个，共4830人，自制了反坦克炸药500余公斤，器材997件，其中有11件被选送至南京军区和安徽省军区。
1981年后，对民兵组织进行了一次大的调整，缩小了民兵组建的范围，取消了过去在机关、学校、街道和人员较少的厂矿建立民兵组织的做法；调整了民兵的年龄，普通民兵男性由原来的16至45岁改为18至35岁，女性不参加普通民兵，基干民兵的年龄为18至28岁，人数控制在人口总数的10％左右；简化了民兵组织层次，由原来的普通民兵、基干民兵和武装民兵三种组织形式改为普通民兵和基干民兵两种，将县编民兵师、公社编民兵团改为县建基干民兵团、公社建基干民兵连等。全县民兵总数由1978年的315373人减少到1986年的125168人，使民兵组织更加有利于生产、学习和开展军政训练活动，更适应未来反侵略战争中的兵员扩编和动员。在此期间，全县共训练民兵228594人次，其中民兵干部19666人次，民兵教员967人次。还在中学生中开展了军事训练。1984年和1987年曾两次受到安徽省军区司令部的肯定。同时，在全县贯彻中共中央办公厅转发的总政《关于加强民兵政治教育的意见》和中共中央《关于当前和今后一个时期民兵、预备役工作的意见》，组织民兵积极参加社会主义物质文明和精神文明建设，创建“民兵青年之家”，组织民兵学雷锋、树新风，建立“扶贫帮困小组”，开展争当“致富能手活动”。为此，县人武部于1981、1987年两次被南京军区授予先进人武部称号。全县各级武装部门与有关部门协作，对1979年以来退伍回乡的3350名农村籍战士逐个进行走访普查，为其中1816人建立了军地“两用人才”档案，通过选送当基层干部、优先安排到乡镇企业工作、扶持成为专业户、兴办联合体、鼓励务工经商、向外输送人才、担任军事小教员等7条途径，开发使用1688名，占退伍军人两用人才总数的93％。为此，县人武部于1985年和1988年两次受到省政府、省军区的表彰，无为县人民政府被国务院民政部、中国人民解放军总政治部授予“全国培养开发军地两用人才先进单位”。