(一)晚清、民国时期地方武装
清末阜阳城有绿营兵(汉兵)1营，于老观巷、驿虎桥等地设汛，由兵备统辖。
清宣统三年(1911年)会员程恩普等响应武昌起义，宣布颍州独立，组建皖北国民军，计有兵士300余人。
民国2年(1913年)组建团防营，县知事任帮统。计有军佐、士兵1101人、马34匹、钢枪821支。
民国4年改团防营为警备营，编制与团防营同。钢枪换为套筒。
民国11年组建保卫团，有军佐、士兵800余人。当年豫匪“老洋人”陷城，保卫团溃散。
民国16年警备营被秦庆霖部收编。当年，县政府组建清乡民团(简称“民团”)，辖15个总队、2个游击大队、9个独立队、1个骑兵队、1个迫击炮队。有军佐、士兵5125人、马48匹、套筒枪3069支、迫击炮2门。
民国22年清乡民团改编为保卫团，扩编为18个总队、3个警察队。因士兵不堪虐待，大量逃亡。最后有军佐、士兵2822人、马46匹、套筒枪2414支。
民国22年冬改编保安团为保安总队，下辖4个大队、3个警察队、1个迫击炮队，有军佐和士兵1388人、马45匹、套筒枪1362支、迫击炮2门。
民国27年在全县抗日的呼声下组建人民自卫军，县长吕荫南任自卫军司令。后被编为抗日人民自卫军第三路军，辖2个支队，有官兵1353人、枪1303支。
民国29年保安总队改为国民兵团，辖4个大队(后扩充至6个大队)，有官兵563人、枪502支。
民国32年组编各区清乡队为自卫大队，共15个中队，有官兵573人、枪540支。
民国28年组建后备队，下辖27个独立分队。民国30年，改27个独立分队为15个后备队。民国32年，15个后备队扩编为27个后备中队。每中队收训国民兵(19岁至35岁的甲级壮丁，时称“甲壮”)180人。后备队员在集训期间，负责地方治安。集训期满的队员，同退伍士兵共编为6个队，兵无定额，担负战时的通讯、担架、消防和运输任务。
民国35年在中国人民解放军压境时，县政府为维持残局，组建两个保安团，士兵多着便装，群众称之为“大褂子队”。连同自卫大队，共有官佐、士兵5300余人。
(二)地方人民武装
民国36年中国人民解放军开辟阜阳县北境，建阜北县，成立阜北县大队，有指战员213人。1949年，恢复成立阜阳县，撤阜北县，阜北县大队改为阜阳县大队，各区设中队，各中队有指战员100余人。
1950年9月成立阜阳县人民武装部，1951年4月，将人民武装部编入中国人民解放军序列，称中国人民解放军阜阳县人民武装部，领导阜阳县大队。1954年10月，改人民武装部为兵役局。内设军事、统计、民兵、征集、预备役军官4科。1959年10月，撤兵役局，恢复成立阜阳县人民武装部，设政工、作战训练、动员、装备4科。1975年，阜阳县人民武装部与金华县人民武装部调防，下辖4科改为政工、军事、后勤3科，至1985年未变。
1952年5月阜阳县大队及各区警卫班，被改编为中国人民解放军阜阳县公安中队。
县人民武装部(兵役局)主要领导人更迭表
表84