民国13年（1924年），省立蚌埠通俗教育馆成立后，社会体育管理工作由该馆游艺部负责。民国27年至34年沧陷时期，设在蚌埠的伪凤阳县政府教育局（科）兼管社会体育工作。此期，汪伪新国民运动促进委员会在蚌机构等也曾组织过体育活动。抗日战争胜利后，蚌埠社会服务处体育组负责各项体育事务工作。
建国初期，社会体育工作由共青团市委军体部分管。1955年5月，设立市体育运动委员会筹备委员会，工作人员11人。1956年，市体委筹委会与市文教局合并办公。1957年，市体育运动委员会正式成立，此后一直在市体委的领导下，依靠群众体育组织各种协会和基层单位工会的配合，建立了多层次的管理网。
市体委初建时，下设射击俱乐部、体育场，工作人员20人。1958年，该委增设体干班。1959年，蚌埠专区体育运动委员会成立，市体委只保留办公室，与专区体委人事股、竞赛股、群体股、体育学校等为平行机构。是年，专区体委增设国防体育俱乐部，由航空、航海、射击、摩托车、无线电和航模等6个俱乐部组成。1961年撤销蚌埠专区，仍恢复市体育运动委员会，设办公室、人事股、国防股、群体股、竞赛股，至1965年，人员为35人。1967年到1973年，市体委下设办公室、场地竞赛科、训练科、群体科，辖业余军事体育学校。1975年，市体委调整科室，场地竞赛科改为训练竞赛科，人民体育场亦设为单独机构。1985年，市体委下设政秘科、训练竞赛科、群众体育科，辖体育中学、业余体育学校和体育服务公司等单位。进入80年代，市体委在领导全市体育工作中，逐步在群众体育、业余训练、体育教学、竞技比赛、场馆设施等方面形成了完备的管理制度。