县体育场建于1936年，位于城关镇西南隅夫子庙左侧，面积10亩，直线跑道50米，环形跑道200米(4条)，内设双杠、篮球架、足球架及体育场办公平房一幢，四周围以木栅栏。全年经费600元。是年，全县体育竞赛大会在此举行。1957年，县人民政府召开第一届人民体育运动大会，在原场地废墟上重新修建县人民体育场。1958年因建造繁昌大戏院，场地被占用。
1980年，县人民政府划城关镇东门河滩为体育中心，开始筹建县体育运动场。1984年落成，仅场地投资20余万元。体育中心总面积2万平方米，内有8条跑道的标准田径场一个，南侧建有看台。北右侧为体育办公大楼，楼高三层，面积560平方米，东侧建有1200平方米旱冰场，150平方米办公楼一幢。西侧建有占地1500平方米的体育馆。
1936年，繁昌初中(即繁昌一中)始建体育场，后几经修整，现已成为四周筑以围墙，内设100米直径跑道1条，200米环形跑道4条，跑道内设三个篮球场，二个排球场和田径场数处，场北侧建有检阅台一处，总面积5400平方米。繁昌一中灯光球场建于1971年，位于校园内西侧，当时县办篮球比赛多于此处进行。1985年，因建讲师宿舍楼，球场遂废。
此外，各乡镇学校和县属厂矿企业单位计有篮球场69个(其中4个灯光球场)，排球场10个，乒乓球室3间，田径场1处。