合肥体育，源远流长。早在西汉高帝元年(前206年)至三国魏文帝黄初元年(220年)，合肥民间就有“御”、“射”、“导引”、“养生”、“角抵”、“利趾”、“拔距”、“曲踊”、“投石”、“搏弈”、“戏水”等体育活动。
19世纪50年代，驻肥清军在练兵中引进西方士兵体操。到了清末和民国初年，田径、游泳、普通体操和球类项目逐步传入合肥。
民国时期，民间传统体育活动，主要有跳绳、踢键子、斗膝、放风筝、荡秋千、扳手腕、抵杠和搏弈等。田径、普通体操和球类活动主要为学校体育项目。到了20世纪30年代，球类活动才由学校扩展到机关、工厂。当时合肥县的竞赛活动很少，体育设施只有一县属运动场和一省属小型体育场。
1949～1954年，是合肥市发展人民体育的起步阶段。此间，合肥市体育运动委员会(以下简称“市体委”)成立，建成合肥市人民体育场(以下简称“市体育场”)，相继举行合肥市第一、二、三届人民体育运动会，并组建体育代表团，参加安徽省第一届人民体育运动会。在比赛中，合肥市体育代表团取得团体总分全省第一的好成绩。
1955～1959年，是合肥人民体育的发展阶段，《准备劳动与卫国》体育锻炼制度在全市人民中得到普遍贯彻，在实施过程中，虽然有一部分单位一度产生过“高指标”、“强训练”和“限制通过劳卫制”的偏差，但全市人民的体育意识得到强化，体育运动技术水平获得显著提高。此间，市体委举办合肥市第一届运动会，并组织合肥市体育代表团参加安徽省第一届运动会的各项比赛。合肥市在这届全省运动会的比赛中，团体总分再次名列全省之首。此外，合肥市运动员在参加全国和国际比赛中，累计取得7项冠军，打破6项全国记录。
1960～1965年，合肥体育处于曲折发展阶段。此间，合肥市体委举办了全市第二、三两届运动会，并组团参加安徽省第二届运动会。在比赛中，合肥市代表团虽取得团体总分第一名，但许多运动项目的技术水平却不及以前。唯跳伞运动属例外。合肥市跳伞运动员在安徽省跳伞比赛中，三次打破两项日间女子集体综合定点跳伞的世界记录。合肥市航模运动员在全国比赛中，打破动力直升模型飞机直线飞行的世界记录。
1966年后合肥体育事业受到“文革”运动冲击。各项体育活动被迫停止。直至1968年合肥市革命委员会成立以后，体育活动才逐步恢复。1971年后，合肥市重点业余体校和五里墩运动场相继建成，《国家体育锻炼标准》制度开始在全市施行。合肥市体育代表团在参加安徽省第三届运动会的比赛中，再次取得团体总分第一名。
1977～1996年，是合肥体育事业全面发展的新时期。此间，合肥体育事业实行改革，走社会办体育的路子，扭转长期以来单靠国家投资办体育的被动局面。在这一时期，《国家体育锻炼标准》和《学校体育工作条例》得到贯彻实施。市区中、小学适龄学生有85％，郊区中、小学适龄学生有75％达到国家规定的体育锻炼标准。同时，以健身为主要内容的职工体育、农民体育、老年人体育日益活跃，竞技体育更有很大发展。合肥市体育代表团在安徽省第四至第八届运动会的比赛中，均取得团体总分与金牌总数全省第一的好成绩。合肥市运动员在全国运动会的比赛中，累计夺得15个全国冠军；在国际比赛中，获得9个第一名；在州际比赛中，有24人次夺魁；在世界体坛的竞技场上，有9人次登上世界冠军领奖台。合肥市体委在此期间，先后举办了第四、五、六届运动会，并承办了安徽省第七届运动会和许多项目的全国比赛。建成合肥体育馆、合肥综合体育馆、合肥游泳馆等大型体育设施。建立了业余游泳运动学校和专业运动队。《全民健身计划纲要》和《中华人民共和国体育法》颁布后，合肥体育掀起新的高潮。
总之，合肥体育事业，正沿着改革的路子，实行普及与提高并重的方针，已迎来了群众体育和竞技体育协调发展的新局面。