清末至民国，合肥城区先后出现龚家、段家、洪家、季家等私家花园，后因迭遭兵燹，多数无存。抗日战争前，西郊大蜀山林木葱郁。日军侵占合肥后，大蜀山林木被日军破坏殆尽。1949年1月合肥解放时，城内仅有树木30余种13000余株，且大部分集中在中华基督教堂所辖的和平医院、三育中学、基督农场和牛奶场内。
新中国成立后，合肥人民响应党中央“绿化祖国”的号召，积极开展了大规模的植树造林和园林绿化建设活动。1949年6月，皖北行署决定辟建逍遥津为公园(原龚家花园)，这是解放后合肥市着手建设的第一个人民公园，也是合肥市园林绿化建设的开始。1950年，合肥市开始栽植行道树。1951年开始在大蜀山造林绿化。自1952年起，动工营造环城防护林带。1954年修复包公祠，整治护城河，建设包河公园。1955年扩建逍遥津公园，原季家花园逐步成为逍遥津西园的一部分。1956年园林绿化施工队成立，负责街道绿化施工与管理，开始建设史家河、南淝河、板桥河及董铺水库防护林。建设初期选用适应本地水土的速生树种，先在宜林地上栽树，搞好城市面上绿化；后随着城市发展，相继辟建了公园、街头游园、花坛和林荫道。1965年城市园林绿化面积达1248.22公顷，公共绿地面积75.81公顷，人均公共绿地2.09平方米。
“文化大革命”期间，市园林绿化工作发展缓慢，最低年份仅植树6万株，公共绿地面积降到61.03公顷，城市行道树无人修剪，花师改行，花卉生产停顿。“文革”结束后的1977年，城市存树80余万株。
1978年中共十一届三中全会后，城市园林绿化工作日益受到重视。1980年市园林建设部门将蜀山园艺场、花冲苗圃改造为公园。1984年春环城公园建设指挥部成立，在环城林带和护城河水系的基础上结合高低起伏的地形进行大规模建设。1987年合肥园艺场更名为合肥植物园。
80年代，合肥市在总结历年绿化经验的基础上，提出并制定了符合市情的园林绿化方针政策，采取了一些行之有效的具体措施，如城市绿化“以面为主、点线穿插”，公共绿地的发展“以小为主、中小结合”，提倡“公园敞开化”，道路绿化由“荫、景、净”逐步过渡到“净、景、荫”等等，让园林风貌辐射到城市的各个角落。80年代初开始起步的城市雕塑具有一定规模，大大促进并丰富了城市的园林景观，提高了城市的环境质量和园林绿地的艺术水平。自1983年起，全市把“包绿化”列为“门前三包”内容之一。1989年中共合肥市委、市政府提出“三年消灭荒山，五年绿化合肥”的绿化目标。全市开展了城乡一体化大环境绿化建设，使园林绿地面积平均每年以30公顷的幅度递增，初步形成了以环城公园为绿色环带，道路绿化为纽带，庭院绿化为基础，公园、游园为景点，6个出入口(指合浦、合芜、合安、合六、合淮、合蚌6条路)绿化为重点，风景区和森林公园及外环绿化带为主体，与郊县绿化相连接，与敞开式风扇型城市总体规划相适应的城市楔型绿地系统。至1992年，全市绿化覆盖面积2252公顷，园林绿地面积1848公顷，人均公共绿地面积7.3平方米；建成区绿化覆盖率为30.5％。
合肥市的园林绿化工作自1959年起就受到国家的表彰。1982年被评为省绿化先进单位。1983年安徽电视台拍摄的《合肥，绿色的城》在全国林业电视片评选中，获电视新闻一等奖。市环城公园建设以其“布局合理，功能齐全，突出植物造景，生态效益显著”而获得1986年度园林行业中的唯一优秀设计、优质工程一等奖。1984、1989、1991、1992年合肥市连获全国绿化先进城市称号，其中1992年还荣获全国绿化季员会颁发的“燕南杯”绿化二等奖。1992年12月被国家建设部首批授予国家“园林城市”称号。