一、弓兵、团练
明初在桑坑铺设巡检司1员，弓兵30人。清顺治初两次裁撤至6名。并迁址藤溪市茹麻岭(今榔桥镇)，初名藤溪巡检司，后称茹麻岭巡检司，弓兵6名。
嘉靖间，泾县设民兵200人。
隆庆间，各乡设乡勇。
雍正七年(1729)县设把总一员，随丁1名，巡兵34名。
乾隆九年(1744)，清兵移城守营于典史衙。
乾隆五十三年(1788)，设泾太分防，外委把总一员驻于县西查村(今属查济乡)之前山磅沙洲，乾隆五十九年，署县事县丞徐于此建造营署，共有头门3间，前厅3间，后堂3间，驻扎清兵。各汛点及营房分别驻为数不等的守兵。
咸丰三年(1835)，太平军克安庆，沿江而下。泾县王观检、查光润在太平县新丰(今属黄山市黄山区)倡建地方团练。是年农历正月二十五日以新丰为中心设总局。参加总局的有泾县济阳查、水东翟、顷田李、老滩舒、雁门文、扶风万、南冲张、龙图包、厚岸王以及太平县新丰王等24姓。是年农历8月15日，总局再次聚会，增加太平孙、邵、谢三大姓，计27姓，号称“泾太27姓团练”。
二、自卫团队
辛亥革命(1911)胜利后，泾县设光复大汉保卫团。县属各都均自行成立“光复大汉保甲团防”。
民国成立至民国17年，泾县知事公署设警备队队警50人，地方设武装商团约30余人。
民国5年泾县设清乡团。各乡成立类似地方武装。兵数不详。
民国14年泾县设县团防局。各乡清乡团队归属局管。
民国16年废团防局，设泾县人民自卫团。
民国18年统一地方武装，泾县设两个区队。原茂林团队改为第一区队，小岭团队改为第二区队，各队兵力均数十人。另外，县城商会设商团，有步枪20余支；县三隅公所有自卫队兵10余人，步枪8支。
民国19年改一、二区队为警察大队，警兵约70余人。不久又改警察大队为一、二自卫大队。
民国22年，改自卫大队为保安大队。下设3个中队，共260人。县长兼保安大队长，大队副由省保安处委派。民国24年改派专职大队长。后由安徽省统一编制，改县自卫大队为保安大队，隶属第九专区保安团。全县及各乡镇公所设壮丁基干队共500余人，有步枪385支，驳壳枪43支。
民国26年，抗日战争爆发，泾县保安团（即保安大队）改为抗日人民自卫军壮丁常备队总队，辖三个独立中队。第一、二、三区区署各设壮丁义勇队，共有步枪95支，驳壳枪4支。原乡（镇）壮丁基于队改称壮丁巡察分队。
民国27年县增设行政警察班，有步枪26支，驳壳枪16支；建泾县游击队，队兵30人，有步枪29支；另建壮丁常备独立中队，队兵100余人，有步枪99支，驳壳枪5支。
民国28年改抗日人民自卫军总队为国民兵团。规定18岁至45岁男丁除服常备役外，均应编人国民兵团。下设常备队，为备兵员补充之用；设自卫队，为地方警卫之用。国民兵团由县长兼团长，副团长、团附、副官均为专职，共有官佐8人，乡（镇）按年龄分预备队、后备队编制。
民国30年常备队改为自卫队，士兵125人。并增设自卫独立分队，士兵45人。共有步枪135支，驳壳枪4支。民国32年县设4个自卫中队；乡镇一度所设清乡队改为警保队。民国33年县成立自卫大队，分建3个中队，1个独立分队，士兵300余人。各乡亦分别组建民众自卫队。民国35年县自卫大队整编，有官佐l1人，下设第一、二、三中队和直属机枪中队、特务中队，各中队分别有官佐5人，士兵101人，共有步枪305支，轻机枪14挺，重机枪2挺，手枪13支。另外各乡镇警保队共有步枪374支。民国37年自卫大队扩编为6个自卫中队，有步枪373支，轻重机枪16挺，手枪、驳壳枪32支。
三、赤卫队、游击队
赤卫队民国19年11月，泾县桃岭材首次建立由中国共产党领导的地方武装赤卫队。队长王晓南，队员14人，土枪4支，大小刀4把，以松香（松树脂）为火药自制土炮1门。民国20年3月，叛徒吴开棠带国民党自卫队进剿赤卫队，队员9人被捕入狱。
民国21年赤卫队重新组建，次年队员发展到22人。
民国23年10月，红军抗日先遣队途经泾县茂林、水东、查济等地，留李步新在泾县开展革命工作。翌年6月，在赵家岗成立赤卫队。7月，李步新又到丁溪、槽溪等地区活动，以桃岭为中心重新组织赤卫队，队员32名，编3个班，步枪2支，土枪20支，大刀3把。民国25年2月，曾任赤卫队长的王晓南叛变，赤卫队转入秘密隐蔽活动。是年8月，云岭、中村、茂林等地相继组建赤卫队。
农民自卫队抗日战争爆发后，泾县各地以农民抗敌协会名义成立农民自卫队、后备队、锄好队、冬防队、基干队等。其中在新四军军部驻地云岭建立抗日自卫队，队员约300人；在新四军教导队驻地中村建立类似上述组织，队员100多人。至民国29年队员发展到300多人。有大刀、长矛、土枪、手榴弹、步枪等武器。其任务是防好、反霸、保卫地方治安。
游击队“皖南事变”后，在中共皖南地委和皖南特委的领导下，在国民党统治薄弱地带与边区接壤地带先后组建游击武装，活动范围遍及全县各乡村及邻县宣（城）、宁（国）、旌（德）、太（平）、青（阳）、南（陵）等县部分地区。其中影响较大的游击武装有：
民国30年5月，在本县南容成立的泾旌太游击队，负责人洪林，根据地在樵山，武装力量发展到300多人。
泾青南游击队，负责人朱农，泾县活动根据地在中村乡冰山，武装力量300多人。
泾宁宣游击队，负责人吕辉、王文石，根据地在今黄田乡涌溪和苏红乡桃岭，武装力量200多人。
上述3支游击队直属中共皖南游击队司令部领导。
四、县大队、人武部
泾县解放初期，县设县大队，区设区小队，共10个区小队。1950年底，县大队改编为宣城军分区泾县独立第四营。1952年底撤销独立营，成立泾县公安中队。1966年改称中国人民解放军烃县中队，属泾县人民武装部领导。1974年恢复原建制，改称泾县武装警察中队。
1949年9月，泾县人民武装部成立，隶属皖南军分区。编制10人，配部长、政委、内设军事、政工两股，辖全县5个区武装部。乡设基干民兵中队，行政村设基干民兵分队或小队。1952年划乡建政后，乡设大队部，村设民兵中队部，下设分队和小队。各队均配备正、副队长，村党支部书记兼中队政治辅导员。除区武装部配备部长、军事、政工干事外，其余都是不脱产人员。1954年县设兵役局，与县人武部合署办公，内设组织动员、预备役军官、统计、征集、民兵等5科，撤销区武装部，配武装助理员1人。1956年9月，区武装助理员撤销。1959年11月撤销兵役局。县人民武装部内设组织动员、政治工作、作战训练3科。配政委、正副部长、正副科长及参谋、干事、助理员若干名。全县人民公社配备专职武装部长，生产大队设不脱产民兵营长。1977年县人武部内设作战训练、组织动员、装备、政工等干科。1981年改为军事、政工、后勤3科。1986年县人民武装部改为地方建制，设办公室、军事科和政工科。
五、民兵
组建民国18年，本县东乡戴阳、宋村、榆桃岭等山区人民，曾在当时中共地下党领导下组建工农民兵，称“工农革命团”。民国21年秘密建立赤卫队。遇有战斗，除以赤卫队为主力外，亦发动民兵参战。
抗日战争时期，新四军在泾县工农群众中除建立各种抗敌协会外，同时发展民兵组织，以云岭、中村、茂林、南容、包合、陈村等西南乡为普遍。据部分资料记载，民国26年至29年底发展的民兵有三四百人。“皖南事变”后，建立泾旌太游击队，民国31年在泾县铜山乡樵山根据地重新发展民兵，建立“武工队”。从此，泾县游击队活动十分活跃，山区各地民兵组织也逐年壮大，至民国35年已发展民兵千余人。民国37年，全县各游击区民兵发展到1500余人。
建国后，泾县县、区人民武装部先后成立，统一建立民兵组织。1950年土改运动中，全县10个区207个行政村和街道均先后建立民兵组织，吸收18～40岁工农青年参加民兵。区设民兵大队，村为民兵分队，下设小队。分普通民兵与基干民兵两种。基干民兵由村单独建立组织，由区武装部统一指挥。1952年泾县划乡建政后，乡设民兵大队。1958年，响应毛泽东主席“大办民兵师”号召，实行“全民皆兵”，全县民兵建制改编为“烃县民兵师”，11个团，110个营，419个连，2051个排，7019个班，编入民兵人数达87950余人。1959年全县行政区划改为人民公社，分别建立公社人武部，生产大队建民兵营，设不脱产民兵营长，1962年，按照毛泽东主席“民兵工作做到组织落实。政治落实、军事落实”的指示，全县各公社开始健全民兵组织，做到有官有兵，大部分基干民兵配有枪支弹药。
1970年，县人武部另行组建“泾县民兵独立团”。
1976年，全县35个乡和县直厂矿、企业、机关单位民兵组织重新整顿。1977年，全县共组建63个连，基干民兵为45224人，普通民兵37266人。1981年贯彻上级“减少数量，提高质量”的要求，再次整顿民兵组织，规定18～28岁男性公民为基干民兵，29～35岁为普通民兵。年龄比原来下降5岁。全县共组建基干民兵40个连，共有基干民兵6001人。原配备民兵武器先后集中交县人民武装部统一保管备用。1986年全县有基于民兵4201人。
教育训练第二次国内革命战争时期，泾县中共地下党组织秘密发展民兵，并进行反帝反封建，武装斗争基本知识和纪律教育。民兵使用大刀、土枪、长矛、棍棒等武器，平时各自训练，提高军事素质。抗战时期，新四军在本县发展民兵，间或组织训练和军事会操。解放战争时期，泾县各根据地民兵除武工队经常随军而外，民兵多持大刀、土枪、棍棒等为武器，随时应召站岗、放哨或随游击队参战。不少民兵在实际斗争中提高了军事素质。
建国后，全县民兵训练采取小型、分散形式，于所在乡村进行。50年代，训练以民兵干部基于民兵为主，每年冬季集中7～10大。普通民兵间有短期集训，利用早上操练，人不离村，吃住在家，不误生产。训练内容按《民兵工作条例》确定。
政治教育以时事形势、政策法令、党的基本路线和中心任务为主；军事教育围绕战备训练，有列队、射击、投弹、防空、土工作业、单兵战斗等基础技术项目。60年代，军事训练增加近战、夜战、对空射击、防化等科目。70年代，训练对象全为基干民兵，人数减少，时间一般为15～20天，由公社人武部组织集训，县人武部干部实施训练。80年代后，民兵冬训制度化，每年一个月集中到训练基地，县、乡武装干部指导训练、演习。训练内容由单一的步兵训练扩大到专业技术兵训练。并由军分区考核、评比。
主要活动民国24年，东乡赤卫队和民兵参加了红军攻打赤滩战斗。各地赤卫队在地方参加宣传革命思想，为红军收集情报，站岗放哨，掩护红军开展革命斗争活动。
解放战争时期，各根据地民兵主要是支援和掩护游击队活动，站岗放哨，掩护收税征粮，随游击队参战和运送弹药。民国36年，游击队袭击马渡、焦石等乡的战斗和民国37年茂林小解放战斗，每次参战民兵都达三四百人。
解放初期，民兵配合县大队、解放军部队，搜山清剿国民党流窜武装匪徒，搜查隐藏反动特务分子。土改运动中，各地民兵站岗、放哨，防止地主恶霸破坏，参加控诉地主罪恶。抗美援朝时期，民兵志愿报名参军尤为踊跃。同时在地方布哨防空，多次搜缴台湾国民党军飞机空投传单物品。
在农业合作化运动、农业学大寨、拥军优属、植树造林、抗旱、防洪、护林防火等工作中，各地民兵都发挥带头作用。1973年，苏红山林失火，民兵投入救火，有男女民兵5名为扑灭山火献身。1980年始，全县在基干民兵中开展“一月一堂政治课”活动，以乡或村为单位，每月集中学习一次，通过“月课”形式进行“四项基本原则”教育和党的基本路线教育。1982年，全县又开展“民兵青年之家”活动，当时有三分之二乡村建立“民兵青年之家”，组织民兵学习科学文化知识，开展文体活动。县人民武装部以南容乡为点，开展军民共建文明村活动，以民兵为骨干，带头破除迷信，禁止赌博，搞环境卫生，该乡陵阳村建成全县第一个“文明村”，受到省、地、县表彰。