一、国民党地方武装
民国17年（1928），阜阳县组建清民团司令部及人民自卫团团部，团以下编成训练游击2个大队，15个总队，9个独立队。第3总队驻地里城，第11总队驻中村岗，第12总队驻许渡口，第2独立队驻柴集，第3独立队驻朱寨，第6独立队驻王化集。
民国22年3月，改自卫团为保安团，团下分编10个总队，其第3总队驻王化集，第6总队驻地里城。同年10月，改保安团为保安总队，下编4个大队，3个警察队，骑兵、迫击炮各1个队。第一大队驻地里城，第二大队驻中村岗。
民国28年，安徽省第七行政督察专员公署组织抗日人民自卫军第三路军。阜阳县第一支队由县长吕荫南兼支队长。支队副吕醒寰带队，驻王化集一带，沿淮各地派出警戒。
民国29年，保安总队改为国民兵团，辖4个大队（后扩充至6个大队）。
民国32年，组编各区清乡队为自卫大队，共15个中队，王化集、中村岗各驻1个中队。
另外，地方的区队及备乡（镇）的乡丁都在20人左右。
二、共产党地方武装
1947年初建县时，建县大队和各区中队，每队50人至100人。1949年6月，为便于清剿洪、淮二河沿岸土匪，维护该地区社会秩序，经中共阜阳地委和阜阳军分区决定，以阜南办事处所辖6个区中队组成阜南武装大队，直属3个连队。1950年10月，武装大队撤销。所属连队改编为阜阳军分区警备四、五营。以后县保留一个中队武装。
1950年6月，阜南县人民武装委员会成立，同年11月，根据皖北军区颁发的《人民武装部组织暂行条例》设立阜南县人民武装部，驻地薛集区东骆寨，隶属阜阳军分区，同时受中共阜南县委领导。内设军训、政工两个股，下辖8个区人民武装部。1951年4月，将人民武装部编入中国人民解放军序列，称中国人民解放军阜南县人民武装部，内设作训、组织、动员、政工4科。1951年10月，根据中央军委《关于省以下各级兵役机构编制方案》，按照安徽省军区参字第413号命令，设立阜南县兵役局，为阜南县政府的兵役机构，与县人武部一套班子两个牌子。阜南县兵役局为甲等一级县兵役局，编制40人，内设组织动员、预备役军官、预备役士兵统计、征集、民兵5个科，各区政府配备兵役助理员。1959年10月撤销兵役局，恢复阜南县人民武装部，隶属阜阳军分区，驻地阜南县城内，内设组织动员、军事训练、政治工作3科，下辖11个公社政法武装部。1961年10月，改设11个区人民武装部，61个公社武装部。1969年5月，撤销区武装部，改设25个公社武装部。1970年，县武装部内设作训、军事动员、政工科。1975年5月，阜南县人民武装部及中队全体人员奉命与浙江省金华地区永康县人武部及中队换防，年底，县中队移交地方公安局管理，称阜南县公安局人民武装警察中队。1979年恢复了县委书记任第一政委制度。同时恢复了县人民武装工作委员会。1983年8月，恢复区、乡人武部。1986年6月县人武部移交地方建制，改称安徽省阜南县人民武装部，内设办公室、政工科、军事科。下辖11个区人武部，2个镇人武部，82个乡人武部。
表1581949—1986年地方武装领导人更迭表