一、清代机构
1、亳州绿营
顺治初年，亳州设卫守备1名，千总1名，把总2名，营兵393名。驻太和把总1名，外委1名，营兵40名，后归寿春镇。康熙18年(1679年)裁卫归州，设亳州专营，属两江总督江南提督管辖。雍正10年(1732年)改卫备为都司。乾隆47年(1782年)，亳州营调入徽州等营的守兵15名。嘉庆6年(1801年)，增设额外外委3名，营兵220名。道光3年(1823年)，增设外委千总2名，营兵30名。光绪9年(1833年)，精简战兵57名和守兵126名，增加马战兵10名。光绪20年(1894年)，设都司1名，中军千总1名，外委千总3名，额外外委8名；马战兵47名，步战兵14名，守兵136名；汛防7处。光绪29年(1903年)，改为巡警军，编制员弁11名，什长8名，正兵74名。
2、颍州绿营
顺治初年，颍州设卫守备1名，下辖左右千总及百总经历各1名。顺治15年，裁卫归州，颍州由亳州营1名经制把总带营兵29名分驻。雍正2年(1724年)，颍州升为直隶州，增设七里铺、六十里铺营房各一处。雍正7年(1729年)，增设外委把总1名，六十里铺由亳州营分防。雍正13年(1735年)，颍州升为府，亳州复降属颍。颍州府城设阜阳县汛，调亳州营千总和外委千总各1名带营兵76名协防。时颍州共有营兵105名。乾隆3年(1738年)，撤千总及外委千总，设经制守备1名，由亳州营分防颍州城。嘉庆11年(1806年)，池州营游击改为颍州营游击，移驻颍州，隶属寿春镇。翌年，改亳州营原驻颍州府守备为颍州营游击中军守备，带兵115名移驻蒙城。颍州营增设阜阳县汛；驻防颍州城千总1名；驻防老观巷、驿口桥、艾亭集、王市集汛把总各1名；协防六十里铺外委千总1名；协防鲖阳城、方家集汛外委把总各1名；协防刘兴集、杨桥集、迎仙店、地理城、苗家集汛额外外委各1名。道光元年(1821年)，增设阜阳县汛哨兵1名。时有马战兵65名，步战兵134名，守兵513名，分汛各处操防。咸丰3年(1853年)，增设颍州营右军守备，驻艾亭集。驻蒙城中军守备改为左军守备。左右两军均属颍州营游击管辖。外汛艾亭集、方家集、王化集、鲖阳城各设外委1名；老观巷、驿口桥各设把总1名；杨桥集、迎仙店、地理城各设额外1名，隶属右军阜阳千总。蒙城城守把总，六十里铺、板桥集外委，双涧集、刘兴集、北苗集额外，隶属左军。光绪28年(1902年)，马、战、守兵奉命改为正兵，编制160名。光绪29年(1903年)，改为巡警军，编制员弁16名，什长15名，正兵133名。
二、国民党军事机构
1、阜阳保安司令部
民国21年(1932年)，遵鄂豫皖3省“剿匪总司令部”颁布的《剿匪区内各省行政督察专员公署组织条例》之规定，第七(阜阳)行政督察区设区保安司令部，由专员兼任司令，内设副司令、参谋、副官数人，并先后于县设立保安总队和军事科。区保安司令部为地区军事指挥机构，隶属安徽省保安司令部，下辖区保安团队和县保安团队。抗日战争事起，为适应战时需要，根据《安徽省战时各区行政督察专员公署组织暂行办法》，阜阳于民国28年(1939年)将区保安司令部与专员公署合并为专保公署，内设秘书室及行政、军事两科，分掌行政督导及军事指挥，并设立军法助理员，办理军法业务。民国36年(1947年)10月，按国民党安徽省政府训令，各县军事科由单纯兵役机构扩建为作战、教育、情报、兵役4个组。
2、区保安团队
民国23年(1934年)，阜阳奉命将各县保安队进行整编，统为区保安司令部调遣，保安司令兼阜阳保安总队司令。阜阳保安总队编有4个保安大队，3个警察队，1个迫击炮队和1个骑兵队，计2800多人。民国25年(1936年)，阜阳保安总队改编为省保安第9团，统归于省。民国27年(1938年)，阜阳组织皖北人民抗日自卫军第3路，保安司令兼任指挥官，同时建立1独立保安中队。民国35年(1946年)8月，安徽对各区保卫团进行整编，一律编入省属各保安总队，第三区(阜阳)因环境特殊，仍准编1保安总队。民国37年(1948年)，阜阳成立区保安团，不久，即被中国人民解放军歼灭。
3、县保安团队
民国17年(1928年)，遵照国民党中央规定，各县成立人民自卫团。阜阳地区因经费、器械、人员等情形之各异，有成立者，也有未成立者。成立之各县编制亦不一致。自卫团与以后之保安团队名殊而实同。民国21年(1932年)，阜阳各县一切有供给的部队，一律改编为保安队，由县指挥。民国23年(1934年)，各县武装力量统一于督察区后，县属部队为壮丁常备队。民国27年(1938年)，为发动全民抗日，遵照第5战区司令长官部命令，各县成立抗日自卫军或自卫总队。由县长兼任总队长，社训教官兼任副总队长，并设1名总队附，以资助理。不久，将总队部合并于县府，所有事务由军事科兼办。
民国29年(1940年)，阜阳各县将自卫总队改为国民兵团。县长兼团长，副总队长改为副团长，总队附改为团附。阜阳县国民兵团下辖4个中队，到民国32年(1943年)，增编为6个中队。民国34年(1945年)，各县国民兵团裁撤，改设县自卫大队，县长兼大队长，副团长改为副大队长，团附改为大队附，专负地方治安之责。民国36年(1947年)，各县自卫队整编为保安警察大队。县属保安警察队，于1947年秋至1949年2月，被中国人民解放军歼灭。各县保安团队，因情形各异，编制称谓亦不相同。
4、师管区司令部
民国30年(1941年)10月，国民党安徽省政府在阜阳设立阜颍师管区司令部和蒙亳师管区司令部(驻太和)。两个师管区司令部皆隶属安徽省军管区司令部，办理征兵、编练等兵役事务。
5、第十四绥靖区
民国37年(1948年)3月，国民党政府在阜阳设立第14绥靖区，司令李觉，辖阜阳、蒙城、临泉、涡阳、太和、凤台、颍上、霍邱8个县，和重建旧制的第74师。司令部设机要室、总务处、第一处(人事)、第二处(特工)、第三处(作战)、第四处(后勤)、政治部和特务营。74师58旅驻守阜阳城，57旅驻蒙城。1948年4月，绥靖区被中国人民解放军第二野战部队击溃，同年8月撤销。
三、人民军队机构
1、中共太和县军事委员会
1932年，中共太和县委根据中共皖西北中心县委指示，设立军事委员会，刘宠光、胡鸣九先后任军委会书记。4月19日，发动太和城区暴动，暴动失败，县委和军委会遭破坏。
2、华中八分区
华中八分区的前身为淮北第二军分区。1944年8月15日，新四军四师奉命西征，迅速恢复了路西抗日根据地。为加强地方党政军建设，巩固扩大抗日民主根据地，淮北苏皖边区党委旋即决定由张德群筹建路西地委，并设路西专区、路西军分区。11月20日，区党委重新划分所属地区，设立地委、行署、军分区各3个。12月17日，淮北苏皖边区党委正式下达《淮北三个分区组织机构及干部配备的通知》，对其组织机构及干部配备作出决定。新四军4师第11旅兼第二军分区，机关先驻蒙城北部，后移驻永城东部。隶属新四军淮北军区。在现阜阳专区境内，有雪涡、宿蒙、雪商亳3个县大队隶属二分区。
1945年9月，抗日战争胜利结束。此时，淮北路东、路西解放区已连成一片。10月下旬华中解放区划分为8个军分区，淮北二分区改称为华中八分区，隶属华中军区。在现阜阳专区境内的有宿蒙、雪涡、雪商亳3个县大队隶属华中八分区。
军分区主要领导成员如下：
司令员：张震(1944年11月—1945年10月)
张太生(1945年11月—1946年12月)
副司令员：姚运良(1944年11月—1945年11月)
吴信元(1945年11月—1946年12月)
政委：赖毅(1944年11月—1945年10月)
吴芝圃(1945年11月—1946年12月)
副政委：寿松涛(1945年11月—1946年12月)
政治部主任：李浩然(1945年11月—1946年12月)
3、豫皖苏军区三分区县大队
1946年11月，党中央鉴于冀鲁豫六分区与华中八分区同处于一地区，因归属建制不同，难以密切配合，决定成立豫皖苏军区，统一指挥。12月初，冀鲁豫六分区划分为豫皖苏一分区，华中八分区改为豫皖苏三分区，在淮阳、鹿邑、太和一带开辟二分区。司令员李浩然、政委寿松涛。现阜阳专区境内先后有雪涡、涡亳、宿蒙、商亳鹿柘4个县大队隶属三分区。
4、豫皖苏军区二分区县大队
豫皖苏军区二分区于1946年12月正式成立。现阜阳专区境内先后有鹿亳太、亳县、太和、界首4个县大队和界首支队隶属二分区领导。
5、豫皖苏军区第四军分区
1947年初，为适应解放战争战略反攻的需要，豫皖苏区党委指示其所属第二地委开辟沙河以南地区。8月，刘邓大军跃进大别山，路经沙南，留下部分武装，开辟沙南新区。9月，陈粟大军挺进豫皖苏地区，横扫顽敌。在解放区扩大的形势下，区党委决定淮河以北、沙河以南、阜颍以西、平汉铁路以东的广大地域内建立第四地委、第四军分区。10月20日，四分区在沈丘莲池正式成立。隶属豫皖苏军区，机关设司令部、政治部、后勤部，下辖3团、7团、骑兵团、特务营、侦察连、骑兵连和沈丘、临泉、临泉市、新蔡、泉阳、泉南、阜南、颍阜等8个县(市)大队，共8000余人。分区机关开始活动在汝南、项城以北地区，以后逐渐向南，向东转移，在临泉的吕寨、阜南的地里城都驻过一段时间，淮海战役后移驻临泉城。
四分区主要领导人如下：
司令员：程跃德(程道荣1947年10月任七八天后叛逃)
黄霖(程叛逃后兼任，1948年3月)
宋文(1948年3月—1949年2月)
副司令员：钟国琴(1948年2月—1949年2月)
政委：黄霖(兼1947年10月—1948年3月)
杜润生(兼1948年3月—6月)
李广(兼1948年10月—1949年2月)
副政委：李一非(兼1947年10月—1949年2月)
参谋长：孙靖宇(1948年3月—1949年2月)
政治部主任：黎钊(1947年底任副主任，后改主任)
后勤部长：黄志和
6、豫皖苏军区第六军分区
1947年初，在开辟沙南新区的同时，豫皖苏第2、3地委分别派遣干部深入涡河以南、阜阳以北地区开辟新区，相继成立阜阳县委、涡亳县委。9月，陈粟大军挺进豫皖苏，第三地委乘势成立涡南工委和淮上支队，活动在涡、蒙、颍、凤一带。10月，豫皖苏党委决定成立豫皖苏第六地委和第六军分区。10月22日，六分区在涡亳县正式成立。1948年2月，华野3纵将师直机关转为分区机关。设司令部、政治部、供给处、卫生处。驻涡阳张村铺(今属利辛县)和高公庙一带。隶属豫皖苏军区，下辖11团(原三分区二支队)、12团(原二分区5团)和8个县大队，总兵力约2000余人，至1949年初达15000余人。
六分区主要领导人如下：
司令员：李浩然(1947年10月—1949年2月)
副司令员：夏云飞(1947年10月—1949年2月)
政委：张德群(何启光，兼1947年10月—1948年2月)
罗野岗(兼1948年2月—1949年2月)
副政委：张德群(兼1948年2月—1949年2月)
参谋长：熊天仁
钟友松
王枫(1948年初—1949年2月)
主任：夏琦(1948年2月—1949年2月)
副主任：洪流(1947年10月—不详)
7、阜阳军分区
1949年1月10日，淮海战役胜利结束，江北地区基本上获得解放。为推进解放区行政管理正规化，并从调整区中调剂出大批干部随军南下，2月，中原局根据中央恢复原旧边界的指示，决定调整行政区划，撤销豫皖苏分局(1948年8月，改豫皖苏区党委为豫皖苏分局)及其所属地委、军分区，将原属安徽之地域归建安徽，重新划分和合并地委、军分区。3月12日，以豫皖苏之4、6分区大部，2、3分区一部分为基础组成阜阳军分区，归皖北军区建制领导。辖阜阳、太和、亳县、蒙城、涡阳、凤台、临泉、颍上8县和界首市。部队有12团、独立1团、阜阳县团；7个县大队，99个区中队；警卫营、侦察连、通信连、骑兵连，计15480人。1949年底，兵员减为7532人。1951年，县、市人武部建立，军分区辖阜阳、太和、亳县、蒙城、涡阳、临泉、颍上、阜南9县人武部和界首市人武部。1952年，隶属于安徽军区，编制820人。1975年底，与浙江金华军分区对调，番号改为浙江省金华军分区，隶属浙江省军区。原浙江金华军分区调归安徽省军区，称安徽省阜阳军分区，辖阜阳县、阜阳市、太和、亳县、蒙城、涡阳、利辛、阜南、颍上、临泉、界首11个县市人武部。1978年，总员723人，其中在职干部450人，战士213人。
军分区领导人更迭情况如下：
司令员：李浩然(1949年3月—12月)
匡胜雨(1950年1月—1952年10月)
胡守富(1952年10月—1955年2月)
王义富(1955年2月—11月)
杜德云(1955年11月—1956年5月)
童金水(1956年5月—1957年12月)
李士怀(1958年6月—1959年1月)
李占彪(1960年9月—1964年3月)
陈玉才(1964年7月—1969年10月)
许伯言(1969年10月—1975年4月)
文彬(1975年5月—1979年11月)
郁振祥(1979年12月—1983年5月)
宋杰三(1983年5月—1985年10月)
徐传荣(1985年10月)
副司令员：匡胜雨(1949年3月—1950年1月)
王枫(1950年1月—1951年1月)
胡守富(1951年1月—1952年10月)
戴修福(1953年2月—1955年2月)
童金水(1958年8月—1964年5月)
李占彪(1958年12月—1960年9月)
马骅(1962年7月—1970年11月)
林少武(1964年1月—1966年2月)
许兴隆(1965年2月—1970年11月)
董平田(1966年12月—1969年10月)
赵跃(1969年11月—1975年4月)
郑自修(1970年7月—1975年4月)
闫发田(1971年11月—1975年4月)
王英(1971年11月—1975年4月)
邵峰(1975年5月—1978年7月)
陈均力(1975年5月—1980年8月)
涂俊成(1977年10月—1981年5月)
张克修(1977年12月—1979年12月)
政治委员：王光宇(兼，1949年10月—1952年12月)
耿万青(兼，1952年12月—1954年3月)
任松筠(兼，1954年3月—1958年5月)
耿万青(兼，1958年5月—1959年3月)
任松筠(兼，1959年3月—1964年3月)
傅大章(兼，1964年3月—1966年8月)
第二政委：汪景南(1961年8月—1966年8月)
第一政委：傅大章(兼，1966年8月—1969年12月)
第二政委：程同谟(1966年3月—1975年4月)
政治委员：苗扶中(1972年1月—1975年4月)
张林元(1976年4月—1979年12月)
第一政委：刘昭诚(兼，1979年2月—1979年12月)
政治委员：连文新(1980年2月—1981年5月)
王承安(1981年10月—1984年4月)
朱仲宾(1984年4月—1984年9月)
汪鉴武(1984年9月)
副政治委员：陈玉(1952年8月—1953年4月)
方志明(1953年4月—1953年7月)
王钦(1953年7月—1956年5月)
汪景南(1955年12月—1959年8月)
熊玉坤(1958年2月—1960年8月
程同谟(1962年6月—1966年2月)
王生生(1965年5月—1969年9月)
徐玉田(1969年10月—1970年6月)
杨毅(1969年11月—1970年4月)
冯拴柱(1970年9月—1975年4月)
周宗琏(1971年11月—1975年4月)
徐兴云(1971年11月—1975年4月)
刘超云(1971年11月—1975年4月)
束恂(1975年5月—1978年7月)
汤子斌(1975年5月—1978年7月)
肖束(1975年5月—1979年12月)
孙伯英(1978年5月—1979年12月)
牛培德(1978年7月—1979年12月)
参谋长：王枫(1949年3月—1950年1月)
胡守富(1951年3月—1952年10月)
陈景龙(1956年4月—1961年1月)
邵德胜(1961年1月—1963年5月)
许兴隆(1963年7月—1965年2月)
贾应秀(1965年2月—1969年11月)
闫发田(1969年11月—1971年11月)
张书义(1971年11月—1975年4月)
刘琦宝(1975年5月—1977年10月)
高见喜(1977年10月—1979年12月)
顾问：任忠萍(1977年9月—1979年12月)
梁春光(1978年6月—1979年8月)
杨琦(1978年7月—1979年12月)
王铭(1979年2月—1979年11月)
曲春元(1979年7月—1979年12月)
军分区初建时，机关设司令部、政治部、供给处、卫生处。1950年11月，供给、卫生2处合并为后勤处，新设干部管理部。司令部改股为科，设作战、情报、军训、通信、军务、机要、管理、人武8科室。政治部保留原组织、宣传、保卫科，新设青年科、军法处和俱乐部。1952年，军分区部队大部分上升，司政后机关整编为参谋、训练、动员、行政经济管理、政工、干部6科。1958年5月，恢复司令部、政治部、后勤处，司令部设参谋、军训、组动3科，政治部、后勤处不设科，编制71人。1959年11月，司令部设作战、军训、组动3科，政治部设组织、宣传2科，后勤不设科，编制69人。1960年6月，司令部增设特种兵役科。1961年10月，司令部特种兵役科撤销，设作战、训练、组动3科，政治部设组织、宣传、干部3科，后勤仍不设科，编制111人。1966年10月，司令部增设管理科，政治部增设保卫科，编制115人。1970年2月，司令部下设作训、军动、通信、管理4科，政治部设组织、宣传、保卫3科，后勤处改为后勤部，不设科，编制117人。1976年12月，司令部设作训、军务、动员、通信、机要、管理6科，政治部设组织、宣传、干部、保卫、群联5科，后勤部设供应、军械、营房、卫生4科，直属单位有教导队、电台、警通班、修械所、编制129人。
军分区部队先后有12团、独立1团、警卫营、侦察连、通信连、骑兵连、县大队。警备1至7营、独立连、县中队等。
12团原为豫皖苏第6军分区主力，1949年8月改编为皖北军区警备2旅4团。
独立1团1949年3月28日以原蒙城4个连、涡北5个连、阚疃1个连组成，1950年9月撤销。
独立2团1949年3月28日以原阜阳县武装为基础组成阜阳县团。8月改为军分区独立2团。11月被撤销，团部率2个营5个连调归华东铁道兵团建制。
8、地区人民武装委员会
人民武装委员会，根据上级党委和军事机关的指示，研究执行民兵预备役、兵员动员、转业复退军人安置的方针、政策。军分区为地区人民武装委员会的办事机构。
1953年3月，全区各级首次成立人民武装工作委员会。地区武委会由地委书记耿万青任主任，军分区司令员胡守富和任松筠任副主任，委员13人。1961年12月，委员14人，地委书记任松筠任主任，专员唐立全、分区司令员李占彪、副政委汪景南任副主任。“文化大革命”中，停止组织活动。1979年2月，根据中共中央(1978)70号文件精神，地区恢复人民武装委员会，委员15人，行署专员姚克东任主任，军分区司令员文彬、政委张林之任副主任。1984年11月，地区武委会作了调整，委员21人，行署专员李联四任主任，军分区司令员郑杰三、政委汪鉴伍任副主任。1986年6月，委员21人，李联四任主任，军分区司令员徐传荣、政委汪鉴伍任副主任。