夏、商朝，县境属扬州。周朝春秋前期属吴；后期(公元前473年以前)属越。战国间(前355～223)属楚。秦二十六年(前221年)属会稽郡。汉高祖元年(前206年)属鄣郡(一说秦末置鄣郡)县境为歙县地，汉元狩二年(前121年)属丹阳郡，治在宛陵(今宣州市)。东汉建安十三年(208)属新都郡，治在始新(今淳安县)。晋大康元年(280)改称新安郡，治仍旧。
梁大同元年(535)，析歙县华阳镇置良安县(良安，民间有人写作“梁安”。)，属新安郡。县治在扬之河东岸大屏山麓后岸村(今后外村)。承圣二年(553)，分新安郡黟、歙、海宁、黎阳4县置新宁郡，良安县的归属未见记载。一说，良安置县不久即废。清乾隆《绩溪县志》载，唐武德七年(624)废良安县，仍归歙县。
唐永泰二年(766)(永泰二年(766)，平息旌德县王万敌农民起义。刺史长孙全绪奏置绩溪县。《寰宇记》：绩溪“永泰二年(766)置”。《旧唐书》：“永泰二年十一月甲子日改为大历元年，故《元和志》云，大历二年置。疆里至大历二年乃定”。)析歙县华阳镇置绩溪县，属江南西道歙州。景福元年(892)隶歙州，五代十国时，先属吴国(杨行密)，后为南唐地。
北宋开宝八年(975)，县境属江南西路歙州，至道三年(997)，属江南路歙州。天禧二年(1018)，属江南东路歙州。宣和三年(1121)，改歙州为徽州，以绩溪徽岭、徽溪而名。
元至元十四年(1277)，县境属江淮行省徽州路。二十一年，属江浙行省徽州路。至正十七年(1357)即宋(韩林儿)龙凤三年，县境属朱元璋江南行省徽州路，旋改徽州路为兴安府。吴(朱元璋)元年(1367)，改兴安府为徽州府。绩溪县均属之。
明洪武元年(1368)，绩溪县属中书省徽州府。十三年正月，属六部直隶徽州府。永乐元年(1403)，属南京直隶徽州府。
清顺治二年(1645)九月，绩溪县属江南省徽州府。康熙六年(1667)，属安徽省徽州府。咸丰四年(1854)，随徽州府由浙江巡抚兼管。同治四年(1865)，复归安徽省。
民国元年(1912)，裁府，直属安徽省。3年设道，属安徽省芜湖道。17年，废道，直属安徽省。20年初，设首席县长制，绩溪县归宣城县长节制。同年10月，属安徽省第十行政督察区(治所休宁)。27年4月，属皖南行署第十行政督察区。29年3月23日，直属皖南行署，同年8月，改属安徽省第七行政督察区。
1949年4月30日，绩溪县解放。5月13日，成立徽州专区，属皖南区。1952年4月13日，属安徽省徽州专区。1956年1月12日撤徽州专区，隶属芜湖专区。1961年4月13日，复设徽州专区，绩溪县属之。1971年3月，徽州专区改称徽州地区，仍属之。1988年1月1日，绩溪县划属宣城地区。
附记：
县名来历
唐永泰二年(766)，置县，县名绩溪(溪读期qī)至今。
“绩”，有缉麻线的含义。“溪”，为山间流水。县处宣徽之脊，境内山溪，交错萦流。《元和郡县志》：“县北有乳溪，与徽(亦作翚)溪(今翚溪河)相去一里，并流离而复合，有如绩焉。因以为名。”《方舆志》：“临溪石，在县北三里(今高迁乡浣纱溪)溪岸上，其方二丈，其平如砥，溪水甚宜浣纱。数里妇女悉来浣纱，去家既远，遂绩其旁以守之。春时多丽服，群绩于此，虽不浣纱者亦会绩焉。县名亦兼此义。”
溪，亦作谿，清嘉庆《绩谿县志》从县印写作谿。民国县印亦作“谿”。16年(1927)改铸县印写作“溪”，沿用至今。