〔清、民国地方武装〕
清咸丰四年(1854)，县绅吴廷香、鲍云鹏、朱绍衣办团练，有民团2500人，驻守庐城。
民国初年，设立县卫队，约10余名队员，受县知事调遣。民国14年(1925)，县成立民团局，兵丁70人，是时七架桥、罗昌河、金牛等地相继成立地方民团。民国16年，盛家桥、罗昌河、汤池、金牛、白石山设立商团局，每商团兵丁20—30人。民国17年，民团局改为县警察队。同时在盛家桥、关河、罗昌河、砖桥、西廿铺、汤池、金牛、白石山、戴家桥、邓家渡、同春集、夏家墩等处成立地甲团，每团兵丁约30人，民国20年，地甲团编为3个警备队。民国27年县政府设军事科，组建国民兵自卫总队和预备队，领薪饷官员60名。民国29年改为国民兵团，各乡亦组训国民兵团后备队。民国34年恢复国民自卫总队，下辖4个中队。民国35年将国民兵团相继改为县民众自卫总队部，县民众自卫团，县长兼任团长或总队长，同时新增保警队。
民国35年6月撤销泥河、汤池、白山3个区署后，到次年3月全县45乡1镇，缩编为30乡1镇，各区之清乡队，充实县自卫总队，1月开始成立13个联防乡，少则二、三乡，多则四、五乡。
民国36年10月8日，成立泥河、汤池、金牛、白山、盛桥5个联防区清剿大队，每大队除成立一个基干分队外，并调集联防区内各乡之警保队，集中统一指挥，专负“清剿”之责。12月10日，又改为泥河、汤池、白山3个联防区署，所需武力，征集辖区内民有私枪，并调集所辖联防乡镇自卫常备分队(即警保队)指挥使用，联防区辖境仍照旧制区署划分管辖。民国37年3月，县动员戡乱会与参议会决定以原3个联防区署幅员过大，不易管辖，将原汤池区所辖之金牛、妙缘、河桥、笏山4乡组成金牛联防区署，设金牛；柯坦、青白、同乐3乡组成同乐联防区署，设罗店。呈省核饬不准，复于6月底，将这2个联防区署裁撤。同时还设边区联防：民国37年1月，在盛家桥成立庐(江)、无(为)、巢(县)3县边区联防区署，调派县自卫总队副总队长吴树棠为主任，自卫总队基干中队归其指挥，安凤、关河、盛桥3乡归其管辖，2月7日吴树棠为游击队俘获枪毙，队伍也被击溃，一直未正式组成，6月又将上述3乡仍归白山联防区署管辖，合肥、舒城、庐江3县边区联防区署于同年1月26日在三河组成，管辖合肥县的施刘、戴冈，舒城县的梅林桥、杭埠、三河和庐江县之河桥等乡。是年9月，又成立桐无庐边区联防区署，设无为土桥，本县砖桥、龙桥、黄屯3乡归其管辖，调一个中队归其指挥，定于10月24日在昆山召开联防会议。庐江县参议会复函：“联防区署地点，应在三县交界之三公山适中地点设立，控制边区防务，如在土桥、昆山则偏于一隅，与本县治安无补益，其一切义务概不负担”。故未派员出席。后只在12月24日拨去大米5841市斤而罢。
〔人民地方武装〕
从民国19年6月桐城县委领导的“庐南罗家嘴暴动”时成立的红军独立团起，庐江各地先后成立多种形式游击队，保卫革命组织，掩护群众斗争，打击邪恶力量，为巩固与扩大革命游击区发挥了重要作用。
民国20年2月，共产党员周济普在庐西组织地主“家丁”哗变，成立游击队，约15人，10支长枪，主要活动在柯家坦、牛王寨等地。哗变人员因经不起革命艰苦环境考验，不久即叛变投降民国庐江县政府，周济普离开该队。同年6月，在庐南郑家湾成立庐南赤卫队，郑中一任队长，陈雪吾任技术指导，同月成立砖桥、南官山游击队，40余人(民国21年7月遭庐江县自卫团“清剿”而停止活动)。9月，马哲聪在庐南组成赤卫队，队员10余人，至年底队员发展到40余人，改名为行动队，有手枪5支、长枪2支、手榴弹40余枚，民国21年1月在桐庐军委陈雪吾、马哲聪领导下，以行动队为基础组成庐南特务连。2月成立红四方面军庐北地方游击队，沈其德任队长(后由赵大友继任)。次年底发展到60多人，长短枪60多支。民国23年8月，这支游击队部分队员编入皖西北独立游击师。
抗日战争爆发后，全县人民兴起抗日救亡运动。中共庐江县委在县境各地相继组建游击队。民国27年2月，以马玉龙为首组织3100多人的自卫队，以许如海为首在南乡大凹口一带组织一支100余人地方游击队。以何泽洲为首在北乡组建舒、庐、无、桐游击大队，又称庐江县动委会人民抗日自卫军第五大队，下设6个连，主要在舒、庐、无、桐等地开展武装斗争；以郑子铮为首在南乡组织1个游击大队，又称庐江县动委会人民抗日自卫军第六大队，100余人，经常活动在黄泥河、沙溪、砖桥一带。这南北两支游击大队，在新四军四支队到达庐江后，庐北的第五大队全部编入四支队七团三营；庐南的第六大队一部分编入四支队七团二营。7月新四军四支队八团来庐江，又将第六大队剩余部分编入八团。8月，将巢、庐、无、桐、舒等县游击队，合编为四支队第二游击纵队。10月收编起义投诚的土匪和商团武装400余人、200多条枪，编入四支队九团三营。11月新四军参谋长张云逸率领军部特务营到达无为地区，将四支队第二游击纵队，改编为新四军江北游击纵队。同时又将在黄泥河成立的新四军江北第一游击大队，改编为新四军江北游击纵队一大队二营第四连。民国29年春，为反击国民党军队“清剿”，坚持巢湖南岸斗争，保障大别山至皖东交通线安全，在白石山组建巢湖游击队，活动于巢湖水上及白石山、盛家桥、槐林嘴一带。夏长根(未到职)、赵直夫、张家英先后任队长。民国30年春“皖南事变”后，中共舒无地委决定将原在巢北活动的地方武装同巢湖游击队合并，成立巢湖独立连，同年3月，独立连扩编为独立三营，受新四军七师及县委双重领导。民国29年7月，新四军三支队参谋长林维先率主力一个营与桐庐地方武装合编为三支队挺进团，下设3个大队、6个连，活动在钱家桥、浮山、大凹口、三官山、昆山、朱桥、龙桥、罗昌河等地。民国30年3月，桐庐县委将地方武装合编为桐庐游击(独立)总队，下辖3个大队。5月，成立庐南游击队，计2个排6个班，约80人。6月，庐南游击队编入桐、庐、潜、怀总队第三连。8月，庐南游击队编为桐庐独立团桐东大队第三中队。民国31年3、4月间，桐庐独立团改编归沿江支队。8月，以李务本领导的庐北游击大队、李群珊领导的庐北游击中队、黄炳光领导的庐北大队，加上巢湖独立营，合编为白湖团，计有600余人、380余支枪。是年底，重新组织桐庐独立团(次年春改为桐庐独立大队)，属沿江支队领导。民国32年下半年，桐庐县委以各地游击队为基础，成立舒、桐、庐大队，后又编入巢湖支队一大队。民国33年4月，庐北、庐南2个大队合并，编入白湖团第一大队。民国34年初，编入新四军七师十九旅。
解放战争中，民国34年9月，主力北撤后，桐庐工委书记刘健民(又名刘开明)、庐巢工委书记张家英等11人，在庐北组织了一支游击队，活动在庐北、庐西南以及巢南槐林嘴、高林桥等地区。民国35年上半年，黄大荣(又名黄抑强)在庐南地区建立一支游击队，活动在桐北和庐南一带，坚持武装斗争。民国36年元月20日庐北、庐南2个游击队，编入皖西支队为庐北大队和庐南大队。10月，庐北游击大队与黄亚东部在芮家岗汇合，整编成立湖西基干团。11月，以庐南大队为基础，扩充成立桐庐基干团。12月，以三纵八旅二十四团的4个步兵连、1个机枪连、1个炮兵连与湖西基干团、桐庐基干团合编，加强了两团力量，成立了湖西独立团。民国37年春，湖西独立团改为庐江独立团和桐庐独立团。1949年7月均奉命南下。尔后庐江县委又重建独立团，下辖3个营，不久又上升为主力。
1949春，组建庐江县大队，下辖3个中队。7月，湖西、庐江2县大队合并，组建庐江独立团。1950年夏，撤销建制，8月，组建县人民武装部，内设军事、政工2个股。9月，成立区人武部。1954年10月，为实行义务兵役制，将县人武部更名为兵役局，内设征集、动员、民兵、预备役军官和统计5个科。1959年11月，兵役局改称人武部，内设政工、训练、组织动员3个科，辖县中队(1975年12月，划属公安局)。
解放后庐江县军事组织负责人更迭表