清光绪三十四年（1908年），怀远县舜耕山完全小学有供锻练的运动场。民国4年（1915年）创办的凤台县第二区廖湾小学开设了体育课。民国7年，扩建了小运动场，可进行球类、跳高、跳远、跑步等项运动。民国18年开办怀远县舜耕山初级小学（现田家庵第一小学），建有运动场，运动器材较多，有滑梯、浪桥、爬竿、跷跷板、跳高架、沙坑、小带球、哑铃等，体育内容丰富多彩。民国26年后，淮南地区相继办起了定淮中学、崇德中学、精忠中学和淮职中学，仅淮职中学有简陋的运动场和少量体育器械。
建国初期，淮南矿区虽有小学25所，中学2所，但体育教学不正常，体育场地、器材缺乏。由于缺乏体育教师和体育教材，一般都由体育教师自选教学内容。1956年国家颁布《小学体育教学大纲》后，小学逐步按《大纲》组织体育教学。1958年、1959年两年间，在中学推行“劳卫制”锻炼过程中，以军训和生产劳动替代了体育课。淮南中专体校学生大部分时间在农场劳动，直到体校停办。1961年为尽快提高教学质量，市教育局利用暑假，组织体育教师集体备课、研讨教材、观摩教学、专题讨论，学校体育出现了新转机。
“文化大革命”期间，中、小学体育教学遭到严重破坏。“复课”后又军训作为体育教学，长达数年之久。1979年10月，全省学校体育教学经验交流会在淮南召开，推动了学校体育教学的进展，市教育局成立了中、小学体育教学研究会，增设体卫科，配专职体育干部负责全市体育工作。安徽师范大学淮南专科还开设了体育专业恢复了中专体校（即安徽省体校淮南教学点），配合师专为全市培养小学体育师资力量。
至1990年，全市各级学校都把体育课作为学生的必修课。体育教师增加到近1000人。拥有体育场4个，大型运动场15个，小运动场41个，手球场2个，篮球场295个，排球场51个，训练馆2个，室外游泳池4个。