民国17年(1928年)成立阜阳民众教育馆，内设国术馆，配馆长1人、专职教师2人。
民国23年国术馆分出，迁于迎祥观。民国27年(1938年)，遭日机轰炸停办。
解放后，体育工作由县文教科管理，配备专职干部1人。
1956年成立阜阳县体育运动委员会(简称体委)。主任由县长兼任，配专职副主任1人，工作员2人(1958年增至4人)。
1958年，开办阜阳县体育学校，配教师6人，从高小毕业生中招90名。1960年停办。
同年，成立阜阳县专业篮球队，男篮13人，女篮13人。1960年专业篮球队解散，运动员分配到基层工作。
1961年至1965年体委编制为1人。
1968年体委实行军管，配专职工作人员2人。
1973年撤销军管，恢复阜阳县体育运动委员会，由县革委会副主任兼任主任，配专职干部3人。1984年配备正、副主任各1人，编制为6人。