一、清代武装
汛兵嘉庆年间，派河、三河汛，每汛守兵5名，宗家店(今山南镇宗店村)汛守兵3名。光绪年间派河驿有目兵10名。
团练1854年～1860年(咸丰四年至十年)，合肥西、南乡兴起数十支团练武装，筑堡扎寨，对抗太平军。较大的团练武装有数百至千余人，主要有：
张树声与弟树珊、树屏、树槐等，在周公山南；
刘铭传与族侄盛藻、盛休等，在大潜山北；
周盛波与兄盛华、弟盛传等，在紫蓬山北；
周世臣等，在紫蓬山西北雷麻店；
董凤高等，在大潜山南；
唐殿魁、定奎等，在大潜山西南(今袁店乡)；
解先亮、叶志超等，在紫蓬山南王岗(今芮店乡)；
王宗瑶等，在丰乐镇；
董履高等，在三河镇；
孔昭珩等，在高刘集孔圩；
程孔德等，在今四合乡；
倪祥福等，在上派河镇；
潘璞、潘鼎新父子(庐江籍，世居三河镇)在三河镇。
淮军1861年(咸丰十一年)冬，曾国藩在安庆与李鸿章计议：以合肥团练为基础，组建淮军。李鸿章授意肥西团练首领张树声，召集刘铭传、周盛波，周盛传、潘鼎新及庐江人吴长庆等，去安庆见曾、李2人。回乡后，集合肥西、南乡团练武装数支，分别立为树、铭营(到上海后由树字营分立)盛、鼎、庆(吴长庆的庆字营主要募集肥西解先亮团练)等营，加以训练整装，3个月成军，于1862年(同治元年)春，开赴苏南、上海与太平军作战。先后在浙江和北方数省镇压太平军、捻军。后转为防军。
二、民国武装
团防局、自卫队1924年(民国13年)，境内各乡普遍设团防局，设团长1人，团丁若干人。1936年，团防局易名自卫队，1946年设区自卫大队及乡联防大队，下辖若干中队。
商装队20年代，三河镇商会建立武装商团，简称商装队。袁斗枢任团长，下辖4个中队，300多人枪。主要维护货物运输安全。1938年秋，改称三河抗日自卫队，简称商抗队，潘厚清任队长，500多人枪。1945年10月，改称三河商民警察队，高华如任队长。后合肥县政府接管三河警察队，组建三河警察所。
巢警队1938年1月，安徽省政府收编巢湖数股武装土匪，组成第五战区游击区第三纵队，司令部设三河镇，胡配庚任司令，1000多人枪。6月，改称巢湖警备总队，简称巢警队，合肥县县长刘文潮兼任总队长，在册1500人，实有900余人枪。稍后，易名巢湖警备大队部，隶属安徽省保安司令部。1943年7月，巢警队被桂系一七二师以武力解散。
合肥县常备大队1938年8月，合肥县常备大队随县政府迁驻境内大潜山北麓鸽子笼。次年6月，县长唐庆甫(唐晓光)兼任大队长，150多人枪。
三、人民武装
合肥游击队1932年(民国21年)4月，中共合肥中心县委游击队在肥西成立，队员12人，长枪12支。次年3月，庐(江)北赵大友，肥南颜文斗2支游击队与合肥游击队合并，赵大友任队长，颜文斗任指导员，下辖2个中队。30多人枪。
皖西北独立游击师1934年10月，寿县中心县委游击队因环境恶化，转移到境内中派河彭家圩，与合肥游击队合并，易名皖西北游击大队，下辖3个中队，130多人枪。1935年6月，皖西北游击大队扩编为皖西北独立游击师，孙仲德任师长，张如屏任政委，下辖2个长枪连，1个手枪连，约400人枪。7月，输送手枪连给红二十八军手枪团。8月，孙仲德率1个连赴大别山，配合红二十八军作战。12月，皖西北独立游击师撤离肥西，进入大别山，和孙仲德会合。
合肥抗日游击队1937年12月，共产党员桂俊亭，凌正明在山南、缺牙山等地组建合肥抗日游击队，桂俊亭任队长，凌正明任副队长，70多人枪。1949年6月，扩编为舒六合抗日支队。
肥南抗日游击队1937年12月，共产党员赵干臣在中派一带组建肥南抗日游击队，赵任队长，200多人，长短枪100多支。次年6月，中共安徽省工委派宋德渊到肥南，协助赵干臣工作。不久，发展到4个中队，500多人枪。1939年1月，肥南抗日游击队升编新四军九团三营，赵任营长。
肥西人民抗日自卫军1938年5月，共产党员马实受中共寿县县委指派到肥西，在聚星、中派、严店、四十井等地收编民众武装，组建肥西人民抗日自卫军，马实任指挥，张伟斌任副指挥，下辖3个大队、1个独立中队，200多人枪。
舒六合抗日支队1938年6月，合肥抗日游击队与肥西人民抗日自卫军合并，易名舒六合抗日支队，700多人枪。7月，为团结抗日，改称民国政府皖北人民抗日自卫军第六路军第二纵队第一支队，桂俊亭任司令，下辖3个大队和1个特务队。10月，中共安徽省工委派张志一等10名党员参加第一支队，加强领导，张任副司令。1939年1月，第一支队升编新四军五支队十五团二营，桂任营长，张任教导员。留下30多人枪，由凌正明领导，继续在肥西坚持斗争。
雷麻店抗日游击队1938年9月，共产党员程明远、徐树吾、童宜仙在雷麻店组建抗日游击队，700多人，长短枪600多支，下辖2个大队，第一大队长程明远，第二大队长徐树吾。次年1月，升编新四军四支队第一游击大队。主要活动于寿县和肥西北地区。
寿六合霍武工大队1942年11月，中共寿六合霍工委成立。不久，建立寿六合霍武工大队，冯道生任大队长，赵凯任政委，50多人枪。主要活动于寿县南部、六安北部、霍邱东部和肥西北部。1946年12月，改名寿六合霍县总队，张慕云任总队长，赵凯任政委，下辖4个中队，1个警卫排和7个区大队、41个乡中队，1000多人枪，经常活动于肥西江夏、王集、高刘、高店等地。
二十埠抗日游击大队1944年1月，二十埠抗日游击大队成立，张业营任大队长，朱良江任副大队长，100多人枪，主要活动于烧脉岗、大蜀山、中心集、烟墩集、二十埠一带。后编入新四军巢湖支队。
肥西武工队1947年10月，肥西武工队成立，施大仓任队长，殷华任教导员，20多人，长短枪15支。次年6月，邹德胜率领六合支队30多人枪进入肥西，与肥西武工队合并，易名肥西游击队，张劢任队长，邹德胜任副队长，殷华任教导员。8月，扩编为肥西支队，张劢任支队长，邹德胜任副支队长，宣育华任政委，下辖2个中队、1个侦察班，300多人，长短枪200余支。12月，发展到4个中队，500多人，长短枪400多支。次年5月，扩编为肥西县独立团。
六合办事处独立营1948年11月，民国江夏乡乡长刘学素率联防大队300多人枪，高庙乡乡长杨介凡率乡队200人枪，潜山乡乡长刘学广、江夏乡杨其祥率游击队200人枪，在寿县方家圩宣布起义。次年1月，成立六合办事处，起义部队整编为六合办事处独立营，杨介凡任营长。
合肥支队1948年12月，合肥县自卫总队副总队长、官亭区区长龚衡军，率领自卫总队2个大队和官亭区自卫大队近千人，在官亭区杨新圩举行武装起义。起义部队由中共皖西军区命名为“合肥支队”，龚衡军任支队长，中共皖西三地委第二书记唐晓光任政委。次年4月，合肥支队升编为中国人民解放军第二野战军第十军三十一师八十九团，龚任副团长，随军渡江南下。
肥西县独立团1949年5月，肥西支队扩编为肥西县独立团，黄明任团长、宣育华任政委，下辖9个中队，1600多人枪。6月，肥西县独立团编入六安军分区警备八团，调往霍山县剿匪。同月，巢湖军分区派章开如、黄胜全来肥西，以原独立团留下的部分武装为基础，重新组建肥西县独立团，章开如任副团长，张子玉任副政委，黄胜全任参谋长，陈立斋任政治部主任，下辖4个连、1个警卫排和7个区队，300多人枪。
县中队1949冬，成立肥西县公安队。1951年划归县人民武装总部。1954年改称中国人民警察肥西县中队。次年7月划归县公安局。1966年6月，划归县人民武装部，改称中国人民解放军肥西县中队，属部队编制。1975年12月，移交县公安局，改称中国人民武装警察肥西县中队。执行看守犯人及刑场任务，协助公安部门逮捕、押送犯人。
四、自发性武装
徐树林抗日自卫队1938年6月，徐树林(有传)率人从地主家夺枪数支。后缴获步枪3支。8月，成立抗日自卫队，徐树林任队长。驻四十井乡西南龙王庙。1941年，自卫队发展到50多人枪，下设4个班。
王孝儒抗日游击队1938年6月，王孝儒在三河组织抗日游击队，1000多人枪。后被民国政府安徽省整军处收编到第十三游击队，名义上委任王为支队长，暗地却派人将其杀害。
抗日民枪队1938年7月，马长友在上派镇建立抗日民枪队，50多人，轻机枪1挺，步枪40多支。同月，烟墩集孙家寿抗日民枪队成立，40多人枪。同月，丰乐乡朱其厚抗日民枪队成立，80多人枪。