1973年前，合肥市没有专门的环境保护机构。随城市发展而产生的大量的生活污水和工业废水，直接排入南淝河或十五里河继而流进巢湖，造成部分河段河水黑臭、湖水污染。大量的烟尘、废气排放，给大气环境带来危害。
1973年7月，市成立“三废”(废液、废气、废渣)综合利用办公室，开始对“三废”进行治理。1976年，市环境保护办公室成立。1980年3月，市环境保护局组建。6月，《合肥市环境保护奖惩、收费暂行条例》实施。10月，历时2个月的全市污染源普查工作展开。这次普查，除对80余家企事业单位进行了重点监测外，还初步查清了390家工厂“三废”排放和市内交通噪声的情况，为以后的环境治理奠定了基础。
1981～1985年，全市共完成“三废”治理项目83项，其中综合治理4项，综合利用10项，废水治理39项，废气治理25项，废渣利用3项，设备噪声治理2项。全市80％的锅炉安装了消烟除尘设备；人口稠密区域内15家污染排放严重的工厂搬迁；西南郊工业废水污染严重的十五里河段得到治理；一水厂饮用水源的水质改善。5年中，全市累计征收排污费900余万元，其中用于污染治理投资376万元，用于环保补助资金537万元。市环境监测站开展了大气、土壤、水质、酸雨、噪声、生物、放射性等项监测，共建立分析项目70多项。市内一些污染排放严重的大小型企业，如合肥钢铁公司、合肥化工厂、合肥化肥厂、合肥电厂、安徽印染厂等单位都设置了环保科(室)，建立了环境监测站(室)。
自1980年起，市人民政府陆续发布《合肥市建设项目环境管理规定》、《合肥市环境噪声管理暂行条例》、《合肥市董铺水库水源水质保护办法》、《合肥市乡镇企业街道企业环境规定》、《合肥市烟尘控制区管理办法》、《合肥市噪声达标区管理办法》、《合肥市水污染物排放许可证实施办法》、《合肥市禁止燃放烟花炮竹的规定》等一系列地方性法规，为全市的环境管理工作提供了强有力的法律保障。
在大量的环境管理和监测分析的基础上，市环境保护部门会同中科院南京地理所等科研部门开展环境科研工作，取得《南淝河及巢湖施口湖区水质自净能力调查》、《巢湖富营养化研究》、《合肥市水污染防治规划及水污染物排放许可研究》、《合肥市环境噪声功能区区划研究》、《合肥市工业污染源调查研究》等科研成果。
1990年5月，市环境保护局中市分局、东市分局、西市分局成立。8月，中市分局率先在辖区10个街道试行聘任环境监理员制度，市属三县一郊及蜀山镇也于年底全部成立了相应的环境行政管理机构和监测机构，市、区(县)、街道(企业)三级环境管理网络形成。1990年10月至1991年1月，合肥市对市属三县一郊1600家乡镇企业的污染状况进行了全面调查，督促这些企业保护环境。
1980～1990年，市环境保护部门累计印发宣传材料近10万套(张)，拍摄科教电影《祥鸟飞来》、录像资料片《防治污染·保护环境》以及环保幻灯片15套。每年“6·5”世界环境日，《合肥晚报》’编发环境专版，合肥电台播映专题讲话。市里还举办过“六·五”广场少儿书画活动、纪念游园活动、专场文艺演出、中学生长跑等普及型群众环境保护宣传活动，提高市民的环境保护意识。
1992年，全市年工业废水处理能力13638万吨，重复用水量43058万吨，废气处理能力175034万标准立方米，工业粉尘回收量33087吨，区域环境噪声均值56.9分贝(A)；工业固体废弃物综合利用率达90％，居全国先进水平。
1991年3月，市环保局被国家环境保护委员会评为“全国环境统计先进单位”。4月，国家环境保护局公布全国32座省会城市(含直辖市)环境综合整治定量考核成绩，合肥市位居第13名。5月，市环境监测站被考核定为“国家优质实验室”。1992年，合肥市荣获建设部“城市环境整治优秀城市称号”。