一、明、清政府所属武装
明正德四年(1509年)，为防倭寇窜劫，本县始建县城四门。嘉靖四十二年(1563年)建成城垣，征民兵，亦称民壮50余人，分守各城门。
乡勇、团练咸丰三年(1853年)4月，县绅陶士霖(翰林院庶吉士)奉命督办乡勇——敬胜勇，建立地主武装与太平天国农民起义军对抗。陶壁垣督带下东乡团练，驻扎在马家园、马仁渡一带；陈科登督带的下北乡团练，驻扎在奎湖、黄墓渡等处。翌年4月，在圩区白水塘(今奎湖乡)被太平军歼其大部。咸丰六年，南陵知县刘西园调齐乡团附城结寨，防太平军攻城。同治十三年(1874年)，这些乡勇和团练，改属皖南镇标左营。
县卫队光绪二十八年(1902年)知县禀准招募夫勇20名，设卫队，卫队长1名。
区自治公所武装宣统三年(1911年)，本县城区、金阁、弋江、刘店、峨岭、三里、戴汇、何湾、工山、奎潭10区均成立自治公所。每所在本区壮丁中挑选健丁游勇近百名，经过3～6个月训练，建立自卫武装。其主要任务是维护地方治安，保护封建政权和地主阶级利益。
二、民国县政府武装
自卫队民国16年(1927年)，民国县政府成立县自卫队，官佐10人，士兵200余人，全部招募。
县保安队民国19年10月，民国县政府自卫队扩编，改名为南陵县政府保安队。民国23年6月，又改为县保安大队，县长兼指挥。下设3个中队，官佐17人，士兵216人，各类枪支203支。
县自卫总队民国26年7月，抗日战争爆发，县保安大队扩编为县自卫总队，下设一个保安队，两个常备军武装中队，1个预备队，县长仍兼指挥，刘懋高、黄、黄定波先后任副指挥。自卫总队共有官佐20人，武装士兵246人，马步枪220支，加强了监狱、政府机关和银行的守卫。民国28年7月，县自卫总队又增设自卫大队，原两个常备军武装中队和芜湖游击一中队编入自卫大队，县长兼自卫大队长，军事教官兼副大队长。后又相继在4乡成立4个武装中队，共有官兵470余人，枪支近400余支，隶属县自卫总队。自卫总队由18～35岁适龄壮丁编组而成，队员每年都要分片集中轮训一次，总队在全县各要道口建各类小型碉堡40余座，土堡14座。
国民兵团民国31年8月，县自卫总队改编为县国民兵团，团长由县长兼任，有官佐46人，兵士369人，马步枪250支，手枪6支，轻机枪7挺。民国32年12月，民国县政府在全县14个重点乡镇成立警卫队。官佐由县国民兵团任免，队员由所在乡镇选定，共1358名，有步枪35支，土枪1323支。
民国34年12月，民国县政府为加强本县反共武装，组建了县武装大队(营)，下设3个武装中队，各乡公所也相继成立武装自卫队，由乡长兼任自卫队长，共有官佐70余人，士兵1400多人，步枪千余支，机枪8挺，在全县各交通要道，战略要地设立哨所28处(点)，每处配哨长1人，哨丁2人。城区城东设立总哨所，其主要任务是搜集情报，盘问过往行人，为军事上反共防共服务。附：大刀会
本县的大刀会是在“同善社”基础上发展起来的。民国30年(1941年)，大刀会首先在太丰的马园、董万等地逐步建立，随后遍及奚滩、弋江、东河、奎湖、黄墓等地。民国33年初，太丰成立大刀会总会，由六乡联防中队长张道政兼任会长，下设5个分会，会徒达2万多人，武器以大刀为主。大刀会曾一度抗击日军，但长期与中共领导的新四军和游击队为敌。抗日战争胜利后，大刀会组织亦随之衰落。
三、共产党领导下的地方武装
南芜边区赤卫队民国16年(1927年)12月，中共南陵特别支部领导农民在黄塘乡谢家坝武装暴动，建立了苏维埃南芜边区政府和本县第一支农民武装——南芜边区赤卫队，队员200多人，下设3个中队，队长陈家坤。同月底，被省政府派兵镇压而解散。
南陵蒲桥抗日游击支队民国27年(1938年)10月，新四军三支队副司令员谭震林将活动在东乡一带的由余子才率领的一支地方武装七八十人，收编为南陵蒲桥抗日游击支队，由新四军三支队直接领导，队长仍由余子才担任。年底，新四军三支队调离蒲桥，蒲桥抗日游击支队遭国民党五十二师袭击而解散。
南繁边区游击队民国31年(1942年)4月成立，队长汪明森，队员30多人，主要活动在南陵的麻桥、桂山、盛桥一带，隶属繁昌大队，民国33年6月编入繁昌大队二连。
龙泉山抗日游击队民国32年(1943年)7月成立，下设3个班，共有队员30多人，队长周世海，副队长卫志强，主要活动在县境龙泉、连、工山等地。民国34年1月，在黄连山编入繁昌大队，离开南陵。
南芜游击队民国33年(1944年)3月，中共南芜工委书记王文石率领一支20多人的武装来到南芜地区，并以此为骨干，成立了南芜游击队，队长王文石，指导员肖牧，队员80多人。是年6月，大部成员编入繁昌大队。次年1月，中共南芜县委成立，将南芜游击队编为3个小分队，4月底扩编为南芜游击大队，下设5个中队和1个侦察排，隶属南芜县委领导。7月，成立南芜游击总队，总队长后奕斋(兼)、谭伟(兼)，总队副傅家盈，政治委员孙宗溶(兼)，政治部主任金厚初、肖须知。
南芜游击总队隶属中共南芜县委和皖南支队双重领导，下辖南芜游击大队及一些分散的小股游击队。总队武装人员800多人，成为南芜地区中共领导的最大的地方抗日武装。民国34年9月，编入新四军七师二十一旅，离开南陵。何湾区中队民国33年(1944年)9月，中共何湾区委抽调部分游击队和民兵建立，中队长由区长王本修兼任，周固贞任副中队长，区委书记张良士兼任教导员。
工山区游击队民国33年(1944年)4月成立，队长马文杰，队员30多人。次年7月，该游击队被编为新四军皖南支队二团一营。
泾南游击大队民国34年(1945年)5月成立，队长陈木寿，教导员汪永钧，编为两个连，共有150多人，主要在本县戴汇、童村一带活动。
泾南游击队民国35年(1946年)1月，王克祥奉命率领一支小分队进入泾南边境地区，在本县三里、刘店一带开展武装斗争。后以这支小分队为骨干，成立泾南游击队，王克祥任队长。
铜青南游击队民国35年(1946年)6月成立，主要领导人陈尚和，其一部由徐世达、赵彪领导，队员36人，活动在本县绿岭、何湾地区。
戴公山秘密武工队民国35年(1946年)春成立，队长李世孝、指导员周雄，隶属南繁芜总队。工山武工队民国35年(1946年)夏成立，队长周雄，指导员赵根生，隶属南繁芜总队。
县人民武装大队1949年5月，以原泾南游击队为基础，抽调部分沿江支队战士组建，隶属皖南军区芜当军分区和县人民政府双重领导。同年12月，改编为中国人民解放军芜当军分区独立营。县人民武装大队大队长朱荣生，代大队长方仲元，政委陈作霖，副政委吴祥。
县人民武装部1949年8月组建，驻本县城内，属县委工作机构，地方建制。1952年5月，列入军队编制，番号为中国人民解放军南陵县人民武装部，隶属芜湖军分区领导，以动员和组织民兵参军参战、剿匪反霸为主要任务。1954年8月，成立县兵役局，并保留县人民武装部名称，下设动员科、征集科、统计科、民兵科、预备役军官科。1958年8月，县兵役局撤销，县人民武装部行使其职责，并重新设立军事训练、组织动员、政治工作3个科。1961年3月，县人武部成立党的委员会，由县委书记兼任第一政委。县人武部政委参加县委常委。1978年1月，撤销军事训练科、军务动员科，增设作战训练科、装备科。1986年6月，执行乙等县人武部编制，撤销作战训练科、组织动员科、装备科，保留政治工作科，设立军事科、后勤科。是年6月，县人民武装部改归地方建制，为副县级单位，受县委和芜湖军分区双重领导，县委书记兼任党委书记，同时撤销后勤科，增设办公室。
南陵县人民武装部领导人更迭表
表1—1