当涂地方武装由来已久。汉设地方兵，唐置团练，宋倡乡兵，元立民兵万户府，明清以后团练乡勇益盛，名目渐多，大都且耕且守，结堡自卫。
一、明清团练乡勇
明弘治十年(1497)，当涂额设民壮550名，操练守卫城池，遇警调用，每10年1次查照丁田，由相应丁户编成。正德十一年(1516)，开始对民壮实行贴粮制，翌年民壮数额减至250名。嘉靖九年(1530)，当涂民壮开始分为上下两班，逐日轮流操练；后改民壮为营兵，统由采石参将管辖。
清康熙年间(1662～1722)，始置乡勇，又名民壮，亦称团练。悉为本地之民，守本处之地，边耕边守，不增兵饷。是时县额乡勇50名，主要担负守库、看监、递解人犯、粮鞘等任务。另于采石巡检司和大信巡检司各设弓兵12名，墩夫10名。乾隆五十一年(1786)，当涂县所设民壮裁至36名。咸丰四年(1854)，当涂四乡大多改设民团。光绪三十一年(1905)，安徽巡丞扎饬各地赶办警察团防，于是地方团练以兴，时县城创有保胜军，旋改作巡警局。宣统三年(1911)，县又下令各乡筹办团练，随后城区及各乡镇相继创立革命军，全县计有革命军1200余名，分由各区董率领，独立防守。
二、国民党地方武装
民国16年(1927)，当涂县组建人民自卫团，分民团和商团两种，由县长兼任总团长。民团由各区就地筹款创办，全县共编民团10个，下属64个分团，共1004人，枪1000余支，子弹49513发；商团由城乡各商会筹措商捐组建，实行商民自卫。全县共设商团16个，团丁250人，枪196支，饷无定额。民国18年，自卫团中民团改编为保卫团，总团部设县政府内，下辖3个大队，每大队辖4个中队，每中队辖3个排，每排编团士10名，团直属游击60名。实行划队分防，第一大队驻旧提署内，担任第一、二、三区防务；第二大队驻丹阳镇，担任第四、五、十区防务；第三大队驻亭头镇，担任第六、七、八、九区防务。民国19年，改组保卫团，实行分区编制，县设总团，区设区团。每区团下设3个分团，每分团辖团丁18名。全县共编区团10个、分团30个、团丁540名、枪540支。民国21年，改编保卫团和各商团为保安总队，下辖7个中队和5个特务排，分别担任各区及沿江防务。民国23年，当涂县开始在乡组织壮丁巡察队，在县举办壮丁队干部训练班。民国26年，县又设社会军事训练总队，下设班长训练所，由县长兼任总队长。
民国27年(1938)，当涂沦陷后原有的地方武装改编为当涂抗日人民自卫军。下编3个常备中队，每中队下设3个分队，有官兵123名、步枪226支、手枪40支、轻机枪4挺。分驻查家湾、年陡、塘南、乌溪、亭头等地。民国28年，抗日人民自卫军改编为国民自卫总队，下辖2个中队和1个特务分队。第一、二中队化整为零，在大官圩及官圩边境，特务分队担任县政府警卫。民国29年，当涂国民自卫总队改为国民兵团，下辖2个中队、1个常备独立分队，有官兵294名、轻机枪5挺、步枪177支、手枪19支。团部驻宣城沈村埠，第一中队在大官圩，第二中队随保县政府，独立分队专门保卫县政府敌后办事处。是年5月，又将收编的伪大陇口警察分驻所官兵组成常备独立第二分队；翌年4月，成立第三中队，派驻大官圩。民国33年，整编国民兵团，改设1个自卫中队、3个分队，官兵106人。民国34年，在大官圩建立9个保安警察队，有官兵362人。4月，组编成立当涂县战地工作队，下设政治、军事、情报3组，同时改编大刀会等地方民间武装为预备队。9月，战地工作队进驻县城后，改称纠查队。10月，改编纠查队和收编的日伪当涂保安团队，成立县自卫大队，下编3个中队，分驻各乡镇。同时，各乡镇也相应成立了民众自卫队。翌年，县自卫大队增设第四、五中队。
民国35年(1946)，当涂县开始在民众中编组国民兵。全县纵编30个乡镇队、300多个保队；横编27个次队，以年满18～45岁的国民兵组成。是年冬，各乡镇成立义勇警察队，每乡镇8～12人，实行1人1枪。民国36年，县成立民众自卫总队，乡镇以下成立自卫常备队，计有乡镇常备大队30个、保中队320个。随将县自卫大队改为保安警察大队，大队初设3个中队，官兵315人，后又设乌(溪)黄(池)亭(头)中队。12月，整编增设第二大队。民国37年，全县整编地方武装，设4个联防区署，每联防区设1个常备自卫中队，由各乡镇义勇警察队和商民自卫队等组建而成。同年夏季，县保安警察队改名为民众常备自卫总队，下辖2个大队、12个中队、54个分队，计有官兵2054人、轻机枪20挺、步枪1460支、手枪28支。8月，县成立人民情报队，乡镇设情报分队。民国38年春，县民众自卫总队改名为民众自卫团，下辖2营。第一营驻黄池，第二营驻塘南阁。
三、共产党地方武装
民国26年(1937)12月，日军占领当涂后，横山地区民众纷纷组织各种抗日自卫武装。翌年6月，新四军二支队挺进当涂后，首先在博望成立青年抗敌军。7月，原第二区(采石区)的当涂县人民抗敌自卫总队第二大队长刘一鸿率队接受共产党领导，改名为苏皖边区人民抗日自卫大队，由刘一鸿任大队长，下辖3个中队。10月，在采石区成立苏皖边区人民抗日自卫纵队，由区长吴大宽任纵队长，刘一鸿、毛富和任纵队副。次年，刘一鸿率队到新四军二支队整训，改编为二支队特务营。民国28年春夏间，横山地区以游击、自卫武装为基础，由中共横山工委民兵自卫队组成新一连，由费明龙的游击队组成新二连，由小丹阳和江宁地区的游击大队组成新三连。民国31年7月，横山县建立特务大队，由业宗厚、杨慎之分任正副大队长，有队员100余人。与此同时，山北、山南、山西各区又分别建立了游击大队。民国32年11月，横山县政府组建警卫连，并在下属各区组建区大队。翌年春，山西区、谷里区分别吸收矿工建成区游击连。民国33年6月，横山县政府统编县地方武装，组建县大队，各区武装统一改称游击连。11月，县大队改为县中队，中队长由县长李钊兼任，副中队长由李琪担任。民国34年9月，横山县中队扩编为警卫团，各区游击连编入警卫团。10月，横山警卫团随新四军渡江北撤，留下一支武工队继续坚持斗争。民国38年4月，共产党员张勇受派于新华圩建立游击队，活动于丹阳、博望、横山一带。当涂解放后，该队被整编为当涂县大队新市区中队。
民国26年(1937)，大官圩地区民众与横山地区紧密配合，相继组成各种抗日自卫武装。是年冬，大官圩爱国青年邵时安、朱昌鲁、张本清等人，联络黄池、乌溪等地青年，在亭头成立青年抗日救亡团。民国27年7月，当芜青年抗日救亡团被新四军二支队接收改名为秘密游击小组。8月，彭冲在大官圩组织成立民族解放先锋队当芜边区总队，由邵时安任总队长，彭冲任秘书长，总队人数达700余人。10月，中共当芜县工委在大官圩建立新四军二支队特务大队，由朱昌鲁、黄庆余分任正副大队长，下设2个中队，300余人，后改编为新四军二支队特务营。民国28年秋，以杨永康为首在大官圩建立游击小组。10月，游击小组改为宣当游击大队。民国29年春，宣当游击大队又改为宣当芜游击大队，下辖3个排，由谬德胜、庄景玉分任正副大队长。4月，新四军二支队在大官圩重组战地服务团。9月，宣当芜游击大队遭国民党武装围攻，除少数战士突围，余皆遇难。民国31年7月，中共宣当工委在大官圩建立当南自卫大队，由陶家才任大队长。民国32年11月，当南自卫大队改编，除陶家才率1个连编入新四军第四十六团外，余部扩编为宣当人民抗日自卫总队，由朱昌鲁任总队长，统一领导区大队、乡中队和所有民兵武装。民国33年12月，宣当办事处建立宣当警卫连，隶属宣当人民抗日自卫总队领导。民国34年8月，宣当人民抗日自卫总队改编为宣当警卫团，团长朱昌鲁，政委彭炎，有官兵700余人。10月，宣当警卫团随新四军北撤。民国37年6月，中共芜当宣工委在沈村建立武装游击小组，9月，该组扩编为芜当宣游击第三大队，由徐振亚、季海波分任正副大队长。同年秋，中共芜当宣工委又派鲁修昌在大公圩地区组建游击小队。民国38年初，游击小队改编为芜当宣游击大队，由鲁修昌任大队长。4月，大队增至200余人，整编为当涂县大公圩武装工作队。解放后，芜当宣游击第三大队、大公圩武装工作队以及随军南下的吴以成部游击队、横山地区游击队等，改编成立中国人民解放军当涂县大队，大队长季道、政委王绳武，下辖5个连、4个区中队。1950年6月，县行政区划改设14个区，县大队改设14个区小队，每小队30余人。1951年5月，当涂县大队改编为宣城军分区独立第二营。
附：日伪地方武装
民国27年(1938)1月，汉奸张星侪组织日伪当涂县政权维持会，下设保安课，辖领保安队。其后，不断收编土匪、刀会武装，陆续成立铁矿自警团、矿业警团、铁道警备队、海军解释场水警队、绥靖队等，配合日军守卫重要经济、军事目标。民国28年5月，根据日军相原警备司令官的授意，进一步收编民间自卫组织，并强拉壮丁，收缴民枪，正式成立当涂防共自卫团，并按照自治区域，组成区、团、队、班等防共组织，统一篇制各地武力。民国32年夏，改编防共自卫团，成立县保安大队(亦称保安团)，另设人民自卫团。保安大队下设7个中队，每中队编3个分队，有官兵80余人。民国33年7月，又于县城关成立警防团，由日军警备队长和联络官充当顾问，有团丁550人。民国34年10月，日伪县保安、警察武装被国民党县政府收编，全部纳入国民党县自卫大队。