一、封建时期军队
封建政权时期县内军队有防守和治安两部分。防守武装各朝机构设置和兵额皆不同。由州府军营掌管和派驻。治安武装属县建制，县尉主管，办理治安事宜，辅助守备。
唐永泰二年(766)置县，设尉1员，主捕盗贼。领乡兵(即弓箭手)，其编制失考。
宋建隆三年(962)置尉1员，掌阅弓箭手，时称乡兵，缉奸禁暴。并设巡检，训治甲兵，巡逻擒捕盗贼。
元朝县尉主捕盗，设巡检2员：一驻濠寨(冯村)，一驻西坑(今胡家乡)，各设弓兵15名。
明朝州置新安卫，县不设武弁，县内防守赖于乡兵，日久有名无实。主簿和县丞分掌粮马与巡捕。嘉靖四十四年(1565)裁革县丞职，设捕应4名，民快、副快各52名，鸟铳手13名，又设巡检2员：濠寨巡检司弓兵25名，西坑巡检司，正统六年(1441)裁革。明代县内设铺司11所，铺司兵56名。县前总铺，驻城西。
清初濠寨巡检司巡检1员、马快8名、弓兵12名。县设捕役三名。咸丰三年(1853)二月为防太平军县设团练公局，址明伦堂。下设守险、守望两局。组织县乡团练，防守丛山关、翚岭。同年底裁守望、守险局，设“义练局”，招募乡勇，乡村组成团队。同治十年义练局改组，并建东关公局，址天王寺。后改设团防局。
二、民国时期军队
民团民国初期县设团防局，建民团，团丁40至50人。民国8年(1919)废。
警备队民国8年县署建立警备队，队兵20余人。
警察局、警察队民国9年县设警察局，成立警察队，队兵一个班。同时镇头、临溪设立巡驻所，各有武装警察4名，维护治安。
商团民国14年县商会组建商团，募招商勇10人。
警卫队民国16年政体改革，县政府设军事科，警备队改称警卫队，队兵30余人。
六邑联防队民国17年粤赣军阀败军退走绩溪，脱逃的小股兵勇藏匿际坑源、扬溪源、龙丛源山中为匪，威胁县城安全。绩溪县长程永言倡议联防，徽州六邑成立联防委员会(驻绩城)，建立联防队，兵力16个班，驻绩城东北一带，后散匪流窜旌泾，境内匪息，六邑联防队撤销。
自卫团民国18年士绅胡运中筹募资金，购买武器，组建自卫团。团总胡桂三(乳川人)，副团总1、教练员1，团总设南街葛家祠堂(今粮站处)。自卫团组织全县壮丁训练，守御地方。22年夏各区编组成壮丁队，共4个区队，196个小队，壮丁4573人。
警察队民国20年县奉令将自卫团改编为县警察队。
保安独立中队民国21年由警察队改编而成。辖2个分队，6个班，士兵67名，武器齐备。县长兼队长(少校衔)，队副1(上尉衔)，分队长2(中尉衔)，军需1(少尉衔)，司书1(上士衔)。
抗日游击队民国27年3月成立约30人枪。胡元堂捐款购枪并任中队长。6月因资金短绌撤销。
国民自卫总队民国27年6月县属武装及抗日游击队统编为抗日人民自卫军常备队，辖2个中队(简称自卫队)。县辖各区成立预备队。是年9月自卫军常备队裁为1个中队，改称常备独立中队，设上尉中队长1，中、少尉分队长各1，准尉特务长1，士兵108人。担负全县警备及协助兵差兵役等勤务；裁撤自卫军常备队的一个中队，改编为壮丁预备队。27年5月撤销区预备队，全县13个乡镇，各建预备分队(又称模范队)，设分队长和班长，负责壮丁组训，每保送壮丁2名轮回在队训练、执勤，当年训练壮丁2000名。全县编成甲级壮丁(又称国民兵常备壮丁)8543名，乙级壮丁4045名，共13588名。
民国28年1月自卫队改编为自卫总队。总队长由县长兼任，副总队长肖纯(少校)，总队副李烈(上尉)，辖常备独立中队。同年3月附设社训总队，训练壮丁。壮丁常备队划属自卫总队。
国民兵团民国29年春国民自卫总队改为国民兵团，县政府军事科裁并，团部设在县政府内，负责防务与兵差。县长兼团长，中校副团长蔡庆珩，少校团副张伯英、吴能宽，官兵108人编制为一个中队。32年增编第二中队，每中队3个分队，每分队3个班，每班10至12人枪。团部下属华阳镇和伏岭、磡头、镇头4个联防区警卫队，各有队兵20余人。队长由各乡镇长兼，专任副队长由团部委派，武器、薪饷由各联防区的乡镇自筹。同年各乡设立清乡队、预备队，担任勤务和训练壮丁。33年县增编特务队，官兵38人，驻胡家祠堂。乡镇建立警卫队，计13个，丛山关设盘查哨，哨长1，哨兵4。
民众自卫总队民国34年撤销国民兵团部，县政府复设军事科，团部官佐委为科长、科员，办理管训、自卫、绥靖业务。35年9月成立民众自卫总队，县长兼总队长，副总队长黄立之、程敷堂，参谋、干事6人，下属两个自卫中队，编制212人。限于经费，实行“两兵养一兵”，实有半数。36年5月自卫中队改编为保安警察大队。此后民众自卫总队部为民众组训机构，编组训练壮丁，“寓兵于农，保卫乡土”，并协助绥靖工作。
民众自卫总队于36年6月在3个联防区署组建联防队，编制每队80人，从所属乡调集壮丁组成，初为10至15人，下半年增至24至30人，所在地乡长兼队长，总队委派专任副队长，武器、经费各乡自筹。
第一联防区：华阳镇、扬溪、登源、临溪乡，联防队驻城内。
第二联防区：芦水、万箩、龙井、大獒乡，联防队驻镇头。
第三联防区：大障、九华、戈溪、登塔乡，联防队驻伏岭。
各联防队在防区驻守碉堡，36年10月第三联防区队副队长胡钦涛率队兵20余人于伏岭碉堡起义，参加游击队。37年冬驻龙井(旺川)碉堡队兵被游击队王保实部歼灭。至次年初，一、二联防队瓦解，少数队兵编入县保安警察队。
保安警察大队民国36年2月民众自卫总队的两个自卫中队改编为保安警察队(又称民众自卫常备中队)。同时成立保安警察大队，第一中队79人，第二中队82人，共有步枪、轻机枪128支，手榴弹300枚。6月队兵留强汰弱，从每保征壮丁2名补充，新增编2个分队，65人。省保安司令部派胡志学率两个班武装来任大队长。37年6月两个分队扩编为中队，共4个中队。
民国38年4月27日晨人民解放军逼境，四乡已被游击队占领，保安警察大队逃窜歙县，部分人员离散，其余被俘。
民国37年6月绩溪县保安警察大队官兵表

县防空支会民国27年为防日军飞机空袭而建。城区设防护团，28年改组，设总务、警报、消防、灯火管制、交通、避难管制、救护、警备、工务、配给10个股。同年扬溪、临溪成立防空分会，设消防、救护和警备队。
附记：
日本空军飞机轰炸罪行录
1、1937年秋日机轰炸黄土墈，炸毁火车客车厢9节，有乘客伤亡。
2、1937年12月5日日机第一次轰炸绩溪城，炸毁南门外余许祠堂(今外贸公司处)半座和民房数间，死伤士兵及民众20余人，死军马数匹。
3、1938年2月26日下午1时50分日机3架向城内县政府大门前、女校前、城隍街、油榨坦、隆()田投弹共16枚，毁碉堡1处、章氏支祠及民房6间，死6人，伤10余人。后飞至国军67师驻地汪村上空盘旋数圈，复至县城投弹，扫射机枪。
4、1938年5月日机轰炸油坑口(今瀛洲)，投弹3枚，伤种田农民2人。
5、1939年下半年一天上午日机3架轰炸县城西，毁民房2幢。
6、1940年11月5日晨8时日机8架经县城上空飞往临溪折回，投炸弹、燃烧弹20多枚，毁民房10幢，死20人，伤约10人；北门外胡涵澄屋全毁，死7人，伤2人。
7、1941年农历5月中旬日机数架，炸毁舒家祠堂(今血防站址)前两进及民房数幢。
8、1941年8月26日日机6架轰炸洪上塘九二兵站医院，死伤兵40余人、农民近10人。
9、1942年5月日机3架炸毁临溪贸易会仓库，损失生丝、桐油近10吨，并有人员死伤。后飞至县城上空，向体育场扫射，死岗警1人。
10、1942年下半年日机2架轰炸临溪，毁房屋数间，有人员伤亡。回经县城上空沿后外村公路炸汽车未中，毁田地数处。
军民合作总站民国27年2月成立，负责抗战军运，设总干事1人、干事、工役各2人。32年“总站”改组，设站长、干事、雇员，还分设扬溪、临溪、镇头夫站，各保派常夫住站服役，同年第三战区在绩城设军民合作站指导处，中校王锡光任副处长。
调查室行动队民国28年设立，驻西街口(今劳动局处)，后迁张家巷。调查专员兼队长，设指导员、事务员，队兵班(6至10人)，32年扩编为26人。34年裁减为9人，36年撤销。
军统组员民国35年春衢州绥靖公署第二处第七组(驻屯溪)派组员(称参谋)一名驻绩溪，在县军事科、调查室及利用社会关系建立联系人，收集情报。37年11月改属京沪杭警备司令部第二处，解放前夕潜逃。
县自卫协会民国35年夏成立。县长任主任委员，指挥协调对境内中共游击区清剿和绥靖。36年改组，称勘乱救国委员会，乡镇成立勘建会。次年全部撤销。
县治安委员会民国37年组建，县长任主任委员，城乡士绅为委员，设财务、总务、稽核等组。乡镇建立治安委员会，乡长或士绅任主任委员，系临时性维持地方治安的组织，37年10月停止活动。
三、人民军队
县大队1949年4月27日，人民革命武装皖浙支队进驻县城，以第一大队改为城防司令部，驻舒家巷(今12号宅)。大队长舒梦熊任城防司令，教导员戴吉祥任政委，辖3个连，300余人。6月改为县大队，县委书记王保实兼大队长，副政委戴吉祥。1950年11月改为徽州军分区独立第四营。
区小队1949年6月全县5个区均建小队。1952年春撤销。人员调独立营或复员。
县人武部1949年5月建县委人民武装部，地方编制，属县委武装工作部门，驻城隍街(今4号宅)。内设军训、勤务、政治动员股，干部6人，负责民兵和兵员工作。1951年3月县和新建的区人武部划列军队编制，县人武部迁北大街今址，设军事、政工股，现役干部35人。1954年10月增设兵役局，与人武部一套编制，设兵役动员、征集、民兵、预备役等科。6个区设武装助理员。全员30人。乡设兵役副乡长(地方编制)。1958年缩编，设征集、训练、预备役科，现役干部21人。人民公社(乡)设专职武装部长，地方编制。1959年1月旌德县人武部并入，干部26人。1959年12月撤销兵役局，只称人民武装部，干部26人。1961年4月分出人员，复建旌德县人武部。1973年8月和1974年10月增建缫丝厂和县直党委人武部，专职武装部长各1人，1978年5月县人武部增设装备科。1981年改设军事、政工、后勤等科，干部19人。1986年6月14日县人武部改为地方编制，干部退出现役，享受公安干警待遇，设军事科、政工科和办公室。
县人武部于1961年5月建立党委，中共县委书记兼第一书记和第一政委。
1968年3月因“文化大革命”成立公检法和邮电局军事管制小组实行军管。1973年5月撤销，军队干部撤回。
1967年2月县人武部成立支左领导小组，领导抓革命促生产第一线指挥部，直至县革命委员会成立。1973年5月撤销支左领导小组。
县人民武装警察中队1949年5月调县大队一个排扩建公安队，3个班40人。驻城西周氏宗祠和濂溪书院，士兵连续扩充和上调。1952年7月有6个班2个分队65人，称中国人民解放军绩溪县公安队。同年整编，裁分队，部分干部战士复员，编为3个班，30人。1955年8月集体改编为人民武装警察队，干部战士转业为县行政编制，定编30人。1961年11月恢复军队序列，1963年1月改称公安中队。1966年9月撤公安部队领导系统，划属县人武部，称中国人民解放军绩溪县中队。1975年12月复改编为人民武装警察，编制和待遇不变。
县人民武装委员会1950年建立民兵工作领导组。1953年改为人民武装委员会，县委书记任主任委员，人武部领导任副主任委员，组织、宣传、政法、青年团、妇女、工会等部门领导为委员。随后区(乡、镇)也建立人民武装委员会。主要是加强党对人民武装工作领导，拟定实施计划和措施，协调和督促完成任务。“文革”中瘫痪。1978年重建，县长任主任，人武部长任副主任。
县人民防空领导组1968年9月成立，设办公室，县人武部和地方干部5人。举办战务学习班163期965人次，编制县城人口疏散预案，演习3次。城区民兵以专业对口建立专业队，消防35人，救护23人，通讯25人，抢修93人，对空射击115人，进行实战演练3次。1981年12月撤销，防空业务移交县人武部。