黄泥港警察分所民国9年(1920年)，黄泥港警察分所由县府呈请委任警长1名，警士8名。
潜山县商团潜山县商民协会组建于民国9年初，有会员400多人，下设商团组织，有团丁20名，各种长枪84支，短枪2支。
潜山团防支局民国初期，潜山县自治所更名团防支局，警士一律称为团丁。潜山团防支局对所募团丁机动安排，有事就增，无事则减。民国9年，全县一区团丁20人，二区8人，三区32人，四区24人，五区26人，六区32人，七区36人，共有团丁178名，各区团丁都配有武器。
潜山县政府自卫团民国14年初，潜山县政府自卫团成立。下辖3个小队，1个警卫班，自卫团团长由县长兼任，配专职副团长。自卫团负责县政府部门和长官的安全警卫。各区也成立团防队，负责维护地方秩序，区长兼团防队队长，亦另设副职。
潜山县保安大队民国23年春，潜山县保安大队成立，与潜山县政府自卫团并存。潜山县保安大队有4个分队，90余人，有各种长枪80多支，短枪24支，各区设保安中队。民国24年，县保安大队收归省保安总队统一管辖，但驻地和所担负的任务不变。
潜山县武装壮丁队民国25年3月，国民党潜山县政府成立武装壮丁队，共3个分队，10个班，104人，受县保安队队长指挥，各区设壮丁巡察队。
潜山县抗日人民自卫军民国27年1月，国民党潜山县政府宣布成立潜山县抗日人民自卫军。自卫军成员由各区武装壮丁队和壮丁常备队以及油坊坝、梅城等乡自愿报名的抗日青年组成。自卫军为团的编制，共260人，有长枪220支，短枪80多支。县长兼任司令，设副司令2人，司令部设参谋总长。各区设抗日人民自卫军后备队。民国28年1月，县抗日人民自卫军改编为潜山县国民自卫队。
潜山县国民兵团民国29年春，潜山县国民兵团在潜山县城成立。县设团部，直属安徽省军管区司令部。各区、乡(镇)、保、甲按规定将服役的男性青年编为区队、乡(镇)队、保队、甲班等不同建制，区、乡、保长兼队长，另设区、乡、保队副，甲班由甲长兼任班长。潜山县国民兵团辖常备队和自卫队，常备队为国军补充兵源，自卫队负责地方警卫。在区、乡设第一、第二类预备队。民国32年春，潜山县国民兵团常备队编为潜山县政府警备队，各区设中队，计有官兵120人，每人配长、短枪各1支。民国35年7月，潜山县政府警备队与潜山县国民自卫队合并，称潜山县自卫队。
潜山县联防大队民国37年2月，潜山县自卫队易名潜山县联防大队。各区、乡也成立了联防队和还乡队。县联防大队有3个中队，计500余人，区联防队一般为70—100人，乡还乡队少则10人，多则50人。
摸瓜队是共产党建立武装初期的秘密武装组织，旨在农村开展抗租、抗税和打击土豪劣绅活动。民国18年6月，中共潜山县委号召各地成立“摸瓜队”，至民国21年10月，全县7个区先后建立“摸瓜队”40多个，共有队员400多人，处死土豪劣绅和反动官员50多人。
中国工农红军潜山独立师民国19年2月，在后北乡胡家祠堂(今岳西县境内)成立，由中共潜山县委书记王效亭任师长，参加“请水寨”暴动后，于3月到达霍山县委所在地闻家店，不久在此改编为潜山工农革命军，王效亭任总指挥。同年4月26日，潜山工农革命军从霍山挥师，打回潜山，克复衙前，水吼岭等地，正式编为中国工农红军三十四师，归红一军指挥，时有将士千余人，长短枪500多支。全师编为4个团。师参谋长凌霄兼任一团团长驻黄土关、水吼岭、栗树一线；二团团长金赤驻黄柏河、龙鸣山、龙井关一线；三团团长操球驻来榜河、五河一线；补充团驻菖蒲河、岩河、五庙一线。各团在驻地向地方反动武装频繁出击，打击“大练”、“红枪会”、“羊叉队”、“野猪队”等反动武装组织。
红军第二团民国19年2月，中国工农红军第二团成立。储茂高任团长、储全章任副团长，团部设在五庙八斗储全章家。该团举行了五庙八斗暴动。同年3月24日，红军第二团遭到国民党潜山县水吼岭区队的袭击，事后多人被捕，该团被迫解散。
独立游击大队民国19年5月，退驻白岩寨的老岭头武装游击队干部徐勋、操球和老岭头区农会干部等8人，在白岩寨召开会议，宣布将老岭头武装游击队和部分乡农会干部、赤卫队员等进行整编，成立独立游击大队，操球为游击大队大队长，徐郊为副大队长，徐勋为政治委员，汪旭升为副政治委员。同时，独立游击大队派人同中国工农红军第三十四师取得了联系，对外称中国工农红军第三十四师独立第五游击队，有队员227人，分5个中队。为解决武器弹药不足，在白岩寨韩家牛形办起兵工厂，生产土枪土炮土炸药和修理损坏的刀、枪、矛。1930年6月17日，独立游击大队被敌包围，战斗中人员伤亡惨重，兵工厂被毁。6月29日，突围出来的游击队员编入中国工农红军独立二师第三团。
黄柏地区赤卫队民国19年5月初，黄柏地区的逆水畈、黄柏河、槎水畈三个区农会下辖的13个乡农会，各组建了一支赤卫中队，先后有队员500多名。赤卫队在中央工农红军第三十四师第二团的帮助下，开展了保卫新生的苏维埃政权的活动，并多次配合红军主力部队攻打敌人和参与“扁担队”到畈区源潭铺、青草塥“打粮”。
潜山游击队第一营民国19年6月底，在“石河区赤卫队”的基础上，成立了潜山游击队第一营。下辖2个连，分6个排，12个班，有队员300多人，各种枪170多支。梅竹松兼任营长，梅魁北任副营长，李凤吾任指导员。该营参加“梅寨暴动”后，多次配合中国工农红军独立二师对敌战斗。1930年8月，随中国工农红军独立二师转移到霍山县，编入主力部队。
潜北游击大队民国23年11月，在毛尖山成立潜北游击队，时有队员40人，长短枪15支，队长刘学成，指导员吴汉青。潜北游击大队主要任务是在潜山工委的领导下进行反霸分粮斗争，打击国民党地方反动武装和地主武装。1935年3月，潜北游击大队编入六路游击师(即红二十八军二四四团三营)。
便衣队民国24年5月，红二十八军和皖西特委在黄尾河召开会议，要求进一步发展建立在国民党统治区的秘密武装，最佳方式就是发展便衣队。当时在潜山县(含今岳西县部分地区)成立了9个红军便衣队：沙村河便衣队，队长黄荣清，队员22人，长短枪18支；大岗岭便衣队，队长陈彩林、指导员宋青云，队员17人，有长短枪12支；鹞落坪便衣队，队长先后为王子清、董升平、鲁工人、徐海珊，队员23人，长短枪13支；马家河便衣队，队长汪忠晏，指导员先后为余海清、刘定武，队员30余人，长短枪11支；枯井园便衣队，队长先后为汪大清、陈明江，指导员董子香，队员24人，长短枪21支；小河南便衣队，队长胡云亭，队员10人，长短枪5支；后河山便衣队，队长周昆，队员13人，长短枪7支；毛尖山便衣队，队长夏永龙，队员14人，长短枪6支；妙道山便衣队，队长蔡炳臣，指导员郑位发，队员17人，长短枪9支。
皖潜游击队(潜山独立营)民国24年2月12日，红二十八军与皖西特委决定派出1支便衣队，以1930年参加请水寨暴动的赤卫队员为骨干，组成皖潜游击队。有队员180多人，长短枪80余支，张作汉任大队长，刘正北任政治指导员。同年5月，在柳家畈与四路游击师会合，改名为潜山独立营。1936年5月，又编为英霍潜太游击师，后随主力部队转战，编入主力部队。
潜山战斗营民国25年5月，中共皖西特委指示潜山县委，以余佩洲从蕲州带来的游击队为基础，组成潜山独立营。组织建立后，分设一个连和一个手枪队，共130余人。营长易元鳌，政委熊桐柏，连长余佩洲，指导员周奇云。1937年7月，潜山战斗营在湖北省黄冈县戴家湾附近与红二十八军特务营会合，改为特务营第三连。
潜太游击队民国26年4月，中共皖鄂特委根据潜山、太湖两县边界游击队的实力，决定组建一支由特委直接控制的精干队伍。4月中旬，潜太游击队成立，全队60多人，50多支长短枪，队长余启龙，指导员周奇云。1937年8月，潜太游击队随红二十八军在黄安县七里坪编入新四军第四支队。
新四军江北游击纵队十八连(潜怀边区抗日自卫团)民国27年7月，由潜山县梅城小学教务主任汪竹梅为首，在潜山县油坊坝成立“潜怀边区抗日游击队”，后改为“抗日自卫团”。10月，接受新四军领导，改抗日自卫团为“新四军江北游击纵队十八连”，汪竹梅为连长，王零为指导员。该连前身为抗日青年自愿建立的组织，旨在打击日本侵略军，后接受新四军领导，主要任务仍然是抗击日本侵略军。该连初期有战士50多人，编连时有105人。民国28年参加了含山藕塘镇、朱家湾等反扫荡战斗后，正式编入罗炳辉领导的部队。
杨其文游击队民国30年春，早期赤卫队员、中共地下党员杨其文奉中共舒桐潜工委领导下的杨震游击队之命组建游击队，杨其文任队长兼指导员。1943年，队员除输送到抗日前线的44人外，还有40人。全队分5个班，有长短枪30多支，活动于舒城平田、洪庙、夹树湾、小街、黄土关和潜山县境的官庄、后冲、岳西县境的主簿园等地，其主要任务是为主力部队扩充兵源和抗击日军，打击国民党反动势力。截至1949年3月，该队为新四军输送兵员200多人，为皖西独立旅、舒城独立团等募送兵员近400人；经历大小战斗近百次，歼敌200多人。其游击队在1947年即编为舒城县独立团第六连，杨其文任连长兼河棚区区长。
张海游击队民国31年，潜山县双峰乡青年农民张海为避壮丁，到官庄乡山区烧炭，参加了共产党领导的杨其文游击队，初为情报员。民国35年1月，皖西大队游击队队长杨震派他到桐、怀、潜交界的源潭铺、十字路、棋盘地一带秘密发展武装力量。1947年，张海加入中国共产党。是年初，游击队有10余人，在与敌人斗争中，游击队曾发展到200多人，威震一方。这支游击队主要任务是打击国民党反动势力，充当黄柏山区革命根据地的哨兵和为主力部队输送兵员。同年，游击队编入皖西支队，活动于源潭铺、黄柏河、槎水畈、余家井、三妙冲、棋盘地、老岭头、龙潭河一带，与国民党反动派军队及其地方势力展开斗争。1948年2月，张海游击队改为“潜山县民主政府源潭区干队”，时有队员50多人，长短枪50多支。
华品三游击队民国33年12月，国民党潜山县自卫队驻龙潭河碉堡班班长华品三，携械向新四军投诚。1945年2月，大别山工委游击队决定以华品三为首组建一支游击队。游击队活动于潜山、岳西、英山一带，队员发展到20多人。1947年，2月，华品三游击队编入皖西支队基干团，华担任四连连长。1947年5月，该连在潜山县乌石堰击毙国民党潜山县党部调查室特务行动队队长储绍煌。1948年8月，新四军攻打庐江县金牛时，华品三牺牲。
潜岳太县大队民国36年3月，皖西支队二大队在潜山县官庄成立潜岳太县大队，大队长宁道贵，教导员张国平。下设4个小队，即撞钟小队20余人，水吼岭小队30余人，三里畈小队40余人，新安小队20余人。各小队分别在各自领域内向国民党反动派开展斗争活动。不久，这些武装全部整编入皖西支队二大队。
水吼岭白马潭游击队民国36年4月，以马晓洪为首组建一支游击队，接受皖西支队二大队领导，经过斗争，发展到200余人，100多支枪。1949年初，这支部队除留少量继续开展斗争外，其余编入皖西支队二大队。
五庙游击队民国36年8月，以五庙、黄龛两乡20多农民和投诚的国民党乡警人员为基础组织一支游击队。皖西支队派二大队文书江波和战士冯金虎为正副队长，在水吼岭、五庙、太湖一带开展活动，1947年11月，编入皖西军区基干团。
潜山县大队民国37年4月初，潜山县武装大队(简称县大队)在桐城县青草塥成立。骨干力量系原潜山独立营部分指战员，共150多人，有长枪104支，短枪60多支。县大队主要负责全县治安，保卫新生政权，为部队扩充新兵。1949年3月，潜山县大队进城。1949年6月，以原骨干力量编为第一连，余井、周庵、野寨、黄泥等区区干队人员升编为第二连，源潭、水吼等区区干队人员升编为第三连。干部战士共发展到827人，各种枪支1006支。1950年4月，第一连部分升级编入华东空勤部队，1950年8月，第三连大部分人员升级编入中国人民解放军安庆军分区独立营三营九连，不久该团三营全部北上，参加抗美援朝，于1950年10月编入中国人民志愿军第九兵团下辖的第二十六军和第二十七军。二连和三连大部分人员于1951年升级编入铁道兵部队参加抗美援朝，其余人员编入县公安队。