一、封建政权时期驻军
宋朝郡营领军877人，有分屯绩溪之兵。
元朝置军营2所，一驻县城；一驻西坑(今胡家乡)。其编制无考。
明朝前期县境无驻军。正德(1506～1520)年间官军防戍丛山关。嵇公关、大障山亦曾屯兵。弘光年(1645)清兵进攻徽州。明将金声和江天一建丛山关隘，重兵防守。次年七月清军从新岭攻入，关破，金声被俘殉难。
清朝徽州镇守营左军拨千把总一员守绩溪，营署在城南下三里。额设步战兵45名，马7匹，马夫4名，差夫10名。雍正间(1723～1735)增设外委一员。雍正三年(1725)设讯地4处：新岭关(今高村乡)、分界山(今浩寨乡)、黄荆塝(今临溪乡舒村)、丛山关，俱拨兵驻守。乾隆二十年(1755)设马3匹、马夫2名、差夫8名。咸丰三年(1853)徽州府设守险局、守望局，派兵防守丛山关、翚岭、新岭等地。四年正月清军周天受、江良臣部防守徽州，有驻绩之兵。五月张文毅(芾)督办徽防，募乡勇数千人，将吴定洲团练扩建为果毅军，驻军防守丛山关、翚岭、新岭等地。十年清营官童梅华率兵镇守丛山关。同年十一月清军都戎汪慎徽驻营板桥头。自咸丰年间至同治三年(1865)在县境防剿太平军的清军还有袁国祥、米兴朝、杨名声部和浙兵、台州勇、湖南兵、湖北兵、贵州勇等曾驻防县城、临溪、孔灵、扬溪等地。
二、民国时期驻军
民国3年(1914)夏，安徽省督军倪嗣冲派统领马联甲率一个营(约400人)来皖南巡查，由旌德到绩溪，驻孔灵一带，4天后开赴屯溪。奸淫掳掠，人民怨怒。15年11月北洋军旅长李德铭率部驻县城、临溪、扬溪，搜劫奸淫，甚于悍匪。曾有士兵哗变。翌年2月北伐军抵歙绩边境，李部向宁国逃窜。
民国18年10月23日国民革命军四十五师鲍刚旅5000人从旌德入境，驻翚岭、新岭、嵇公关、临溪、十里岩、王家村、际坑源、扬溪源、扬溪、丛山关、龙丛源、板桥头、长岭各地。11月下旬蒋介石嫡系胡祖玉师、韩德勤旅共3万人，从旌德县白沙入境，一部经尚田、过高杨村驻镇头；一部从际坑源出王家村至县城。鲍旅在翚岭头与韩旅激战1小时，鲍部不敌，于11月30日夜撤向歙县。
民国23年12月国民党七师二十一旅杜润、李×两个团4000余人驻绩溪，杜团驻水村、北村一带，阻击红军，督修碉堡、工事，组训壮丁。李团驻县城，向地方摊派给养，红军抗日先遣队过绩溪后，李、杜部撤走。
民国24年2月国民党军队七十八师四六三团三营营长曾侠英率部驻绩城月余，清剿红军游击队，3月9日调旌德。
民国25年10月安徽省保安第四团第三大队大队长李锐率两个中队驻绩清剿红军游击队。
民国27年2月国民党军队67师来绩，部队驻扬溪、汪村、仁里、旺川、浩寨休整。次年3月撤走。
民国28年2月江苏第二挺进军总指挥冷欣率第二纵队约2000人驻绩溪，指挥部设天王寺，部队分驻横坞、翚溪口、翚岭脚等地，年底部队撤走，留守处仍驻绩城，1年后移浙江。
民国29年9月国民党第三十二集团军司令长官上官云相率一○八师数千人驻绩溪。司令部设东街胡泽民宅和仁里村两处。部队分驻仁里、汪村、南观等地。同年11月移宁国。
民国31年2月江南行署主任兼五十二师师长张逎鑫率一五五团及行署机关退驻绩溪。师部设白石鼓程宅。部队驻城内、扬溪、岭北等地。后由李寿雍接任行署主任，署址移西山章宅。34年4月张部调浙江孝丰。
民国32年4、5月国民党二十三集团军司令官唐式遵率一○四师、一四四师、一四五师驻绩溪。司令部设东街胡宅。部队分驻横坞、翚溪口和岭南、岭北各地。曾清剿游击队根据地。抗战胜利后离绩。
民国34年5月安徽省保安第四团分驻绩、歙、旌3县。第一大队大队长余德修(后任团长)率主力在绩指挥“剿共”。解放前夕全部被歼。
民国35年3月国民党军队二十六师副团长赵凤歧率部驻岭北冯村一带，清剿霞潭、上横路等游击队根据地。次年2月撤离。
民国36年10月国民党军队六十三师四五六团副团长梁喜谋率军驻绩溪，清剿游击队根据地。次年4月撤离。
民国38年1月安徽省保安第五旅旅长王汉昭率旅部和16团驻绩城、扬溪、镇头一带。4月24日起义，改编为中国人民解放军皖南独立旅。
民国38年3月下旬国民党军队一○六军二八二师溃逃绩溪，师部设白石鼓程宅，部队驻西门、南门一带。因人民解放军逼境，4月27日晨与县政府人员一起撤退，28日到歙县被俘。
附记：
其他驻绩军事单位
1、第三战区92兵站医院民国26年(1937)11月14日设于洪上塘村。收治抗日国军伤病员。总院设村内程家祠堂。附设分院于洪上塘、高村、霞间和临溪的蒲川，病床500张。收治伤病员最多时在1200名以上，设担架队30～40人。伤病员死亡超百人，葬于洪上塘村口山丘。31年秋迁蒲川，不久撤离绩溪。
2、克强训练班驻霞间村，隶属第三战区工兵指挥部。1942年初，英国军事代表团第四区分团主任马乐福(译名)中校和麦茂伦上尉建议与第三战区合办中英爆破训练班，英国人任教练和供给器材，训练人员深入苏浙皖沦陷区爆破日军军事目标。班主任傅博仁(第三战区少将工兵指挥官)，副主任张尉堂(第三战区中校参谋)。英国军事代表团第四分团为“顾问室”。训练班于民国31年1月开办，32年5月结束。开训3期，每期3个月，共220人。学员来自第三战区的上饶工兵一团和工兵第十五营，广德独立工兵第八营和十八营，安徽的五十二师，浙江的二十八军，江苏的忠义救国军，保安一，四纵队，第二游击区部队等。训练内容：工兵技术、建筑教范、爆破技能、地雷和定时炸弹的使用及突击行动爆破等。英国军事代表团驻绩第四分团在广德杨滩和浙江昌化的汤家湾设立前哨站。派有英国教官、翻译和事务员。英国教官借访学员、技术指导和供应器材之机，搜集军事情报、测绘地图。
3、苏浙皖绥靖指挥部政治训练班址高迁村，民国33年夏训练班设训导科、教导科和秘书、教官等科、职。学员有江苏流亡学生50多人。训练内容为政治、建碉防共及谍报。抗战胜利后，由训练班大队长乔成栋率领去苏北。
三、建国后驻军
徽州军分区独立第四营1950年11月由县大队改编，3个连300余人。营部驻东街民房，部队驻东街冯家祠堂等处。1952年4月撤销，部队上调。
9847部队中国人民解放军十二军三十一师九十一团，1000余人，于1961年5月驻绩。团部设在项家桥周协恭房。部队驻高村、古塘、霞间、大坑、仁里、上马石、止原公墓。同年8月调驻浙江江山县。
中国人民解放军6408部队某连于1967年8月驻绩，参加“支左”工作，制止武斗。1969年夏撤走。
徽州军分区独立营一连1981年10月从屯溪来驻城南炸药仓库，休整1个多月后撤回屯溪。
芜湖人民武装警察第九中队1983年10月驻金沙乡蒲藤坑，守卫“471”仓库。
南京军区通讯团某连1984年2月驻东山101修建队(今酶制厂)，埋设绩旌地下通讯电缆。次年3月撤离。
四、过境军队
唐乾符六年(879)三月黄巢进兵歙州，占据绩溪，五月攻陷歙州。景福二年(893)淮南节度使杨行密遣兵经绩溪攻陷歙州。
宋宣和二年(1120)方腊起义占歙州后，分兵经绩溪出击宣州。次年四月韩世忠部将王渊部过绩境攻打方腊义军。靖康初年(1126)秋冬岳飞统兵攻杨么义军，经兵坑、祝三、瀛洲进歙县。绍兴元年(1131)六月江东张琪率兵过县境攻陷歙州。七月败于绩溪，被俘杀。
元至正十二年(1352)蕲水徐寿辉农民起义军将领项普进攻徽州路，占领绩溪，烧毁城廓及内外官舍、寺观。江浙元帅率兵屡复屡失，十四年三月始平。十七年朱元璋率将邓愈、胡大海进攻徽州路，取道绩溪，曾过黄甲村(今胡家村)、湖村、瀛洲、上马石，宿营船山(今火车站处)
明嘉靖三十四年(1555)倭寇数千人，由杭州入徽，进掠绩溪，县民抵御，死17人，倭寇于新岭退去。弘光年(1645)闰六月清兵进攻徽州，在丛山关受金声御阻3个月。九月清兵从小道来袭，明御史黄澍投降，清兵占领绩溪。
民国15年(1926)12月11日至16年2月26日军阀溃军过县境约20余万人。15年11月广东军阀陈炯明部的谢文炳师、陈修爵师和赣系军阀败军晁岳山骑兵团、李德铭旅约5万人，从歙县过县境溃逃宁国。临溪、县城、扬溪沿线村庄遭劫。向地方勒索粮饷达1.7万银元。16年2月军阀五省联军总司令率刘宝禵师、白宝山旅、冯绍闵旅约7万人，历时三、四昼夜从临溪经县城过丛山关。沿途村镇及登源一带惨遭洗劫。临溪、扬溪两镇十室九空，村舍沦为废墟。乘隙脱逃的小股溃兵，从扬溪源、龙丛源、际坑源潜入山区打家劫舍。农民自发组织以猎枪、刀斧、棍棒自卫。尚田、梅山、黄树岱等地曾发生枪战，互有伤亡。部分逃兵被缴械解送出境。
民国16～23年部分军队过绩表

抗日战争时期国民党军队大批取道宣宁撤退，1937年底至次年春过绩境军队日夜不断，约20余万人。境内芜屯公路线居民、商店备受惊扰。其中有陈诚部，第三战区前敌总司令薛岳部，十九集团军罗卓英之十一师，曾暂住仁里、汪村、瀛洲、社屋后、霞间、朗坑和镇头、濠寨等地。于1938年6月前撤走。
1949年4月下旬人民解放军渡江后，国民党溃军从宁国走芜屯公路过境，日夜络绎不绝，沿途拉夫勒索。4月25日晨国民党第七绥靖区暂编第二纵队长陈瑞河率部约3000人入绩去浙江，中途被人民解放军阻击折回，逗留在汽车站一带，撤往旌德后投降。