自唐宋以来县人崇尚读书，文风昌盛。南宋文学家汪藻云：“新安之属，以县名者六，而邑小士多，绩溪为最。”明弘治《徽州府志》载：绩溪“读圣人之书，明圣人之学，知所向方，善善相劝……亦骎骎乎齐鲁矣!”
宋迄清有官办县学、社学、义学，民办书院、文会和私塾。“三五之家，不废诵读”(清《江南通志》)。教育的兴旺发达造就众多文人学者，被誉为“邦无游民，民无尤行，刑罚设而不犯，风俗美而不流”之邦。绩溪千百年灿烂的教育文化，成为徽州文化的重要组成部分。
清光绪二十九年(1903)废科举，办学堂，县内私立、公立和官立小学堂迅速兴起。光绪三十年至宣统二年(1910)兴办小学堂26所。民国时期地方有识之士和旅外工商者关心桑梓，独资或集资办学，蔚成风气。
建国后教育事业发展极快，但道路曲折，1978年以后，步入正轨，健康发展。1985年1月获省人民政府“普及初等教育”合格证书。1985年获全省第一个基本扫除文盲县的称号。
民国迄今，群众体育运动渐趋发展，体育设施，逐年增多。民初在城北建公共体育场，曾举行全县小学运动会2次，中学运动会1次。建国后在城南新建上万平方米的体育场、游泳池和乒乓球房。全县共有篮球场250个，灯光球场11个，足球场2个，游泳池2处，在参加地区、省、全国各项体育比赛中，获金、银、铜奖牌47枚。胡艳于1987年女撑竿跳高达3.6米，创世界最好成绩。