一、封建政权民壮
宋初乡村长老掌管地方弓手壮丁，捕逐盗贼，始有民兵性质的武装。熙宁三年(1070)实行保甲法，大保每夜轮流5人警盗。
元代仍之。
明洪武初年将民间武勇之人编成队伍，定时操练，遇事调以征战，事平仍还为民，有功者升赏。正统十四年(1449)招募民壮，由县官军和巡检司率领操练，遇警调用，事定为民。成化元年(1465)招募民壮，官府给鞍马器械，免除本户赋粮5石，免丁役2名，有事调遣，不许勾销。弘治二年(1489)民壮年龄为20～50岁，编制每里5～6名，当时县辖25里。春夏秋每月操练2次，冬季操3日歇5日。遇警调集，给行李粮食。长官私役民壮者，按私役军兵条问罪。万历二年(1574)全县25里选捕诘官2人，每里选子弟兵20名，逢五逢十练习技艺1次。遇警鸣锣为号，齐集应援。
清朝雍正二年(1724)设民壮50名，习学弓箭鸟枪技艺，时常操练。七年派拨12名赴本府军粮厅、10名赴宁国府防护，十年裁还。乾隆三十年(1765)实留民壮19名。咸丰三年(1853)县建团练约百人。乡建乡团由董事带领。村建团队由地方长者(乡绅)率领，闻警村自为团，守关把卡，抵抗太平军，无事各归田亩。
二、民国时期民众自卫队
民国35年(1946)县组织民众自卫队设总队部，县长兼总队长。乡镇设自卫大队，乡镇长兼大队长，专职副大队长1人。保设民众自卫队，保长兼队长，专职副保队长1人。18至45岁壮丁，编为盘查哨、守望哨、递步哨、侦察组、向导组、救济供应组、运输组、工程组。
三、人民政权民兵
建国前民兵1934年校头、板桥山区有过红军赤卫队组织和活动。1941年中共皖南山地中心县委在戴川、社屋坑一带以党员为主，吸收少数贫苦农民秘密组织民兵队伍为县委机关和游击队购买物资，运输粮食，盖山棚，当向导和送情报。1943年下半年，上横路和荆州建立民兵组织共30人。是年底王家源建立民兵组织20余人。1944年底民兵组织向根据地外围发展，岭南的磡头、大障、逍遥、松烟塘、东村坞和岭北的大会山、黄会山、畚箕湾、寺后、新屋下、村前、清山塘等地先后建立民兵小组，为游击队做后勤和通讯联络工作。1945年民兵组织发展，并公开活动。是年春节后游击队占领九华乡，组建民兵队50余人，设盘查哨，封锁消息，收集武器。数天之内，民兵发展到500余人，土枪160多支，马刀30多把。建立九华乡民兵指挥所，址上胡家村胡成仅宅，总指挥胡能葵。7个保建民兵队，设队长、指导员和助理。民兵在乡农会领导下，开展抗丁、抗粮、抗税、抗夫斗争，有40名民兵参加游击队。1945年9月全县建立民兵中队部、小组20个，共1500余人。1945年底扬溪、际坑、高枧山等地建立民兵中队，下属3个分队，200余人。濠寨、新川、梧村桥、坦头等地相继建立民兵组织。1946年3月国民党清剿游击队根据地民兵化整为零，分散上山，隐蔽活动，队伍不断扩大。是月龙丛、东坑、黄树岱、考溪等地发展民兵103人；大谷附近村庄建民兵中队100余人，并在大坦开办良种农场为秘密训练民兵作掩护。4月百坑、枫树坞、戴家坦建民兵队30余人，步枪2支。上横路、大障等民兵组织整顿恢复，发展到100余人。下半年岭北片的横山、潭村、黄会山、金坑、玉台、尚田、水涯、陈村、宅坦、旺川等地整建民兵中队、排、班组织，有500余人。1947年3月全县民兵发展到2000余人，步枪350余支，全县三分之二以上农村地区建立乡、村政权。各乡设民兵队，建半脱产基干民兵队，村设交通班，民兵参加武工队和游击队近千人，参战10多次，牺牲23人。1948年底民兵遍及农村90%以上地区。1949年春民兵为渡江南下人民解放军筹集布鞋2000多双，干菜数百担。4月21日民兵在扬溪、十里岩、雄路、龙丛迫使国民党军队和地方武装连、排缴械投降。4月24日岭北民兵配合游击队解放旌德县城。27日部分武装基干民兵随游击队进驻绩溪县城。
建国后民兵1949年5月全县159个行政村建民兵中队部150个，民兵2800余人。1951年土改中清洗不纯分子64名。1953年底发展到4818人。1954年县设兵役局，侧重兵役工作。1957年纠正忽视民兵工作偏向，年底民兵人数增至5656人，其中基干民兵1656人。同年乡建武装基干连。1958年6月预备役与民兵合编，基干民兵增至5031人，其中复退军人574名。1958年底实行“全民皆兵”，16至50岁男女公民编入民兵组织，计20474人(其中男性18887人)。编为一个民兵师，14个团，56个营，326个连，1481个排，5272个班(含女民兵632个排，2413个班)，其中基干排393个，基干班1433个。1961年民兵整顿组织，身体健康的16至45岁男性公民，16至35岁的女性公民编入民兵组织。其中男性16至30岁、女性16至25岁编入基干民兵。在基干民兵中设武装基干民兵，班不跨生产队，排不跨生产大队，公社成立武装基干连，配发武器。1966年底因“文化大革命”民兵组织基本瘫痪。次年7月武斗，县人武部和公社民兵武器被“造反派”抢夺。1968年春收回。1968年秋县、公社成立“群众专政指挥部”，组织“群众专政队”，取代武装基干民兵组织。1969年底在公路沿线和交通方便的12个公社组建地方民兵独立营，辖4个连，17个排，67个班，战士924人。1970年经组织整顿，全面恢复民兵组织。1975年3月县成立“民兵指挥部”。全县22个公社，除高村、大源、镇头，都相继建立“民兵指挥部”和民兵小分队。县缫丝厂推行治保、消防、民兵“三位一体”。1976年10月粉碎“四人帮”后民兵指挥部停止活动，后撤销。1978年改革民兵组织，压缩年龄，缩小范围，减少人数，民兵人数由46000人减编为23000人。
四、民兵训练与活动
民兵训练1950年春起县于每年冬春集训基层(营、连)干部和民兵骨干，15至20天；基层民兵组织，以基干民兵为主，小型分散，训不离村；民兵排长和武装基干民兵由乡(公社)组训，每年10天。人民公社时期，提倡“劳武结合”组织民兵早晚训练。内容有射击、投弹、爆破、战斗勤务和单兵、班、排战术；专职武装部长由军分区集训。1963年开展民兵大比武，训练人数多，出现一批神抢手、投弹能手。民兵许家山参加省军区民兵比武会。1964年后训练项目为多种武器(轻机枪、六○炮、四○火箭筒)、多兵种(通信兵、侦察兵、炮兵、防化兵)和“三打”(打坦克、飞机、空降)、“三防”(防化学、原子、细菌)。1981年后每两年为一训练期，时间30天。1984年在孔灵建训练基地，训练民兵干部和基干民兵，每期30天。
民兵活动解放后至1951年底民兵配合部队和公安部门镇反肃特，保卫“土改”。全县建立普地哨376处，盘查哨28处，联防哨60处，日夜轮流放哨。民兵独立执勤23次，897人。配合部队行动13次，捕捉土匪、反革命分子20名，缴长短枪20支、子弹1124发及其他军事物资。冯村冯文伙等8名民兵，捕获2名潜逃的伪乡长，徽州军分区授其民兵模范称号。1952年民兵建立122个对空监视哨，1953年8月楼坛乡民兵队长胡益五、民兵汪跃如在坑口捕获浙江省通缉的土匪1名。同年台湾蒋军飞机5次入境，两次空投传单等物品，民兵及时报告，并收集空投物品。1954年建立22个反空降小组和黄会山、清凉峰两个常年防空哨所，70年代初撤销。
民兵在工农业生产中发挥骨干作用。1951年组织打猎队110个，至1954年共猎害兽1200多只。多数互助组长、生产队长、农业社主任由民兵担任。民兵还兴修塘坝742处，挖引水沟1186条。1958年“大炼钢铁”，民兵投资55400元，献出金银锡铁器，支援工业建设。1959年大旱，瀛洲大队民兵50余人14部水车连接车水上山，灌溉203亩水稻。庙山民兵48人日夜抗旱，打井67口，开沟11条。1970至1976年，民兵开展种“三田”(试验田、丰产田、种子田)活动年年丰收。1965年8月13日夜，上庄择里生产队民兵副排长王孟成带领民兵在暴雨中抢运集体稻谷1.1万斤，后因仓库倒塌牺牲，县授予模范民兵称号。
1960年和1962年召开“四好连队”、“五好民兵”表彰会，表彰民兵659人次。1972年和1979年两次民兵代表会，表彰先进集体375个，先进个人7928名。解放战争中的民兵英雄赖民生于1960年4月出席第一次全国民兵代表大会，受奖56式半自动步枪1支。1973年9月徽州地区民兵工作会议在绩溪县城召开，曾参观金沙公社民兵军事演习和文化室活动。1982年11月徽州地区授予金沙公社党委和武装部、校头公社龙丛大队党支部和民兵连政治工作先进集体称号。
五、民兵武器装备
建国前游击区民兵组建初期使用大刀、匕首、土枪、松树炮等。1946年始有步枪2支，后不断增加，至1949年春有枪支武器350件，1950年473件，1962年615件。1975年春金沙公社武装基干连改装全自动、半自动新武器72件。1985年民兵武器有四○火箭筒、60迫击炮、82迫击炮、56式半自动和63式全自动步枪、56式班用机枪、冲锋枪和机枪。扬溪民兵通讯连配备有小电台和收信机、报话机、步谈机、交换箱、电话单机。民兵武器，每枪配3名持枪手，枪支由第一持枪手保管。1982年改由乡、镇政府集中保管，训练时发给民兵。1985年8月后集中保管与分散使用相结合。
六、预备役
民国25年(1936)，绩溪实施兵役法规定服现役期满退伍者服预备役，退伍军人由军事科登记，民国26年后县政府曾招收在乡退伍军人充任地方武装干部。
1957年首次预备役登记全县8062人。服一类预备役681人，服二类预备役7381人。1958年预备役人员转入基干民兵2189人，占基干民兵总数43.5%。1981年登记预备役退伍军人142人，其中技术兵98人。1984年登记预备役退伍军人579人(含技术兵302人)，其中服一类预备役137人。1985年预备役688人，其中服一类预备役431人，二类257人。1986年预备役770人，其中服一类预备役344人，二类426人。1987年预备役1003人，其中服一类预备役416人，二类587人。