本县民间体育活动历史悠久，主要有游泳、武术、拔河、爬山、射箭、中国象棋、围棋、踢毽子、跳绳等。从建县至清朝光绪年间，本县共出武举人114名，武进士22名。民国时期，篮球、排球、乒乓球、足球等球类运动和田径运动逐渐兴起，旌德民众教育馆也常在节假日举行射击、爬山、打球、放风筝等活动。
50年代中期，很多单位成立体育协会和体育锻炼小组，如银行的“银鹰体协”、粮食局的“粮食局体协”等。体协和锻炼小组经常组织职工开展球类（乒乓球、篮球、排球）、游泳、中国象棋、广播操等体育活动。1956年县城有70％的单位和35%左右的职工参加业余体育活动，仅旌德中学教职工就举行各种比赛33次。次年，县总工会、工人俱乐部成立体育组，开展乒乓球、康乐球、中国象棋等项活动。1957年前后县城有篮球队18个、排球队3个。1958年，县人民政府从有关单位抽调6名男运动员成立县职工专业篮球队。1964年，县城有球类、中国象棋和田径等项目的业余运动队30多个，1975年，县农机厂出席全省群众体育先进基层单位代表大会。1982年，县体委开设太极拳训练班，有100多人参加训练。1984年、1986年县老年人体育协会、钓鱼协会分别成立，部分中老年人经常参加跑步、中国象棋、钓鱼、打太极拳等活动。
农村体育活动以游泳较为普遍。夏季，青年、学生等利用池塘、水库、河流开展游泳活动。民国期间，双河、三溪、孙村、庙首等地时行集体延师习武之风。1957年，本县组织武术队参加全省武术表演。70年代初期，不少公社和大队组织篮球队，白地公社有8个大队的青年、民兵开展义务劳动新建篮球场。80年代初，白地等地青年自发组织武术队，聘请教练辅导。不少地方在农闲季节开展篮球、乒乓球、中国象棋等竞赛活动。1977年和1985年，白地、庙首、华坦、俞村、旌阳、旌桥、兴隆、祥云等乡分别组织农民篮球赛。1975年，白地公社江村大队出席全省群众体育先进基层单位代表大会，1985年又出席全省农村体育经验交流会议。