建国初期，潜山县民兵积极配合人民解放军及公安部门剿匪反霸和维护社会治安。
1950年4月，潜山县武装大队和中国人民解放军安庆军分区独立团组织400多名武装基干民兵和潜山县公安队一起，组成200多个战斗小组，围剿残匪。同年5月4日，桐潜怀三县联合剿匪指挥所成立，潜山县成立21个应急连，以对付突然出现的匪情。1951年4月27日，槎水区槎水乡民兵范玉春、范玉振，在追捕逃匪储临川时，从一丈多高的石崖上跳下，与匪徒英勇搏斗，奋力将该匪擒获。范玉春、范玉振受到安庆军分区的嘉奖，并被县评为民兵模范，出席安庆专署和安徽省召开的民兵模范会议。1952年1月18日，周庵区龙王庙乡(今河镇乡)民兵中队长操兰芳，被华东军区第三野战军授予“皖北军区民兵模范”称号，并被安庆军分区、华东地区评为“模范民兵中队长”，出席华东军区民兵模范代表会议，并当选为全国民兵模范大会的代表。
从1958年到1961年7月，黄铺、源潭、余井等丘陵区，有野狼出现伤害人畜，潜山县人武部干部全力以赴，调出25名基干民兵，组成5个除害兽专业组，捕获豹子17只，狼9只，野猪1头，其它害兽700多只，消除县境内害兽之患。
1960—1961年底，潜山民兵协助公安部门破案400多起，其中，破获大案59起，捕获犯人925人，协助公安部门搞“大清查”，共出动民兵424人，缴获反动传单3005份，民兵单独执勤550多次，单独破案16起。
1962年3月，全县民兵组织广泛开展“创四好单位”(政治、作风、工作、训练)活动，到年底，共评出“四好”单位194个。1963年，潜山县有16个公社先后进行近20次民兵紧急集合训练。
从1958年到1971年底，全县民兵以班或排的组织到工地安营扎寨，完成土方1285.26万立方，石方182.1万立方，造林999590棵，育成林面积5000多亩，兴办各类厂(含综合场)4家，各类企业(厂)137个。至1986年底，民兵组织中共评选出县级劳模522人，受省政府和省军区表彰的先进个人108人，出席全国劳模会议2人，受党中央、国务院和中央军委等有关部门嘉奖表彰的38人。
1984年4月，全县292个村先后成立“民兵之家”，组织民兵学政治、文化、科技知识和进行娱乐活动。“民兵之家”每周进行2—3次活动。
1987年，县人武部在人武干部和民兵中举办了国防后备力量知识有奖竞赛，荣获安庆军分区国防知识竞赛第二名。各级人武部门积极参加经济建设，率领民兵带头脱贫致富，在民兵中广泛开展“一兵带动全家富、一排带动全村富、一连带动全乡富”的活动，在两个文明建设中发挥了骨干带头作用。