合肥地貌呈低山残丘、波状丘陵、低洼平畈三种类别，低山残丘占7%，低洼平畈占12%，波状丘陵绵亘广袤，占81%。低山区分列于市境东、西边陲地带，低洼区分处于巢湖、瓦埠湖、高塘湖及其支流沿岸地带，中部为岗冲起伏、阡陌纵横的丘陵地带。江淮分水岭，西南东北走向，贯穿市境中部。两侧分别向南、北相反方向倾斜。岭南属长江流域，下降至巢湖为最低点；岭北属淮河流域，下降至瓦埠湖、高塘湖为最低点。长江流域河流归属巢湖、滁河。淮河流域河流，水分三派入淮：天河、王桥小河、庄墓河(古阎涧水)汇入瓦埠湖，经东淝河入淮；沛河汇入高塘湖，经窑河入淮；池河发源于定远县(市境内有发源于长丰、肥东县的储城、肖凤、青龙、红石、肖圩等11条小河汇入)，出定远，过嘉山县女山湖至红山头入淮。
合肥市属季风副热带湿润气候，雨量充沛，多年平均降水，从南向北由1075毫米递减至960毫米(多年平均等值线图)。年内降水主要集中在6～8月，约占全年降水量的65.5%。据多年资料记载，历年最大降水量，从南向北由1578.4毫米递减至1281.9毫米；历年最小降水量，从南向北由592.1毫米递减至478.7毫米。
合肥地处季风过渡带，冷暖气团常在此上空交锋，暮春冷倒槽雨，夏季黄梅雨，七、八月间台风气旋雨，频频发生。在这些降水过程中，若有较强冷暖气团相遇，有暴雨、大暴雨出现，常造成湖河洪水泛滥；如受副热带高压控制，出现晴热高温天气，又造成旱灾。另外，合肥地区地形复杂，高低差大，暴雨时丘岗地带河流源短流急，大量洪水壅潴于圩洼地带，即造成洪涝灾害。若旬日不雨，岗丘往往又出现旱情。故有圩区“五月淹”、岗区“夹秋干”之说。
合肥地区雨量比较充沛，且南面的巢湖，北面的瓦埠湖、高塘湖均有较丰富的水源可供开发利用，另外，西可引淠河、东可提江水补充调剂。但合肥大部分地区地下水资源贫乏，井泉仅可供人、畜饮用。
合肥地区的古代治水活动与屯田紧密关联。东汉末，合肥争战频仍，人口大量迁移流散，扬州刺史刘馥造合肥空城后，募集流民开荒屯田，整修芍陂、吴塘诸埸，蓄水灌田。三国魏正始年间，邓艾以5万人在淮河两岸屯田，大治诸陂。官修陂塘，带动民修小塘，构成丘陵地区灌溉系列工程，在合肥地区水利发展史上占有重要地位。如蔡城塘、陷陂塘、站兵塘、斛兵塘以及许多大小官(关)塘，至今仍发挥着一定的灌溉作用。屯田不仅推动了丘陵地区水利事业的发展，也推动了圩洼地带的水利建设。合肥市巢湖沿岸圩田约始于三国时期，至宋代，已具有一定规模的圩体系。
合肥地区治水活动历史悠久。清代合肥知县左辅，对合肥地区的地形特点、成灾原因以及如何治理，已有了初步的认识，并总结出一些宝贵的经验。在水利工程管理方面，清光绪年间，合肥县署采用官谕与民管相结合的办法，以法定的形式出示，杜绝水利纠纷，有利于促进当时生产的发展。
合肥人民在长期治水活动中，兴建了许多水利工程，在当时生产水平上，发挥着重大工程效益，有的工程历经沧桑，至今仍发挥着一定的效益。但由于官府压榨统治，土地占有者苛重剥削，水利建设发展缓慢，大部分农田仍靠天收，一遇水旱灾害，或赤地千里，或一片汪洋。民国期间，合肥屡遭兵祸，更受日本侵略军蹂躏，水利设施破坏殆尽。解放前夕，岗区大部分塘坝连人畜生活用水也难保证，圩堤低矮单薄，稍遇洪水，即溃堤成灾。
合肥解放后，市辖各县(区)根据具体情况，进行全面规划，统筹兼顾，丘岗区以灌溉为主，低洼区以防洪排涝为主，除害兴利并举。
建国后水利建设，大体经历了4个历史时期。
1950～1957年，是水利建设奠定基础时期。解放初，国家处于经济恢复时期，无力进行较多的大型水利建设。合肥地区的水利建设，主要是修复、兴建小型蓄水工程，使丘陵岗区灌溉条件得到初步的改善。1953年开始，农村生产方式由分散走向集体，水利建设也由小型分散逐步转向大型集体，工程规模不断扩大，丘陵岗区蓄水工程，通过联塘并塘扩大了灌溉面积。这期间，国家制定出《1956～1965年农业发展纲要(草案)》。为了实现纲要指标，国家对水利建设投资有所增加。在这一新的历史条件下，全市水利建设开始跨上一个飞跃发展阶段。1957年建成水库94座。众多分散的小塘坝，大部分联并成大塘坝，许多古老塘坝经过整修，发挥了更大的工程效益。这一时期的水利兴修，虽处于建国初期的奠基阶段，但每一项工程都先行调查研究，周密规划设计，认真履行审批手续。在施工中注意工程质量，措施得当，因而工期短，效益显著。由于水利条件的改善，1957年，全市粮食亩产比1949年有了显著提高。
1958～1965年。这一阶段的前期，水利建设搞“大跃进”，淠河总干渠和潜南、瓦东、滁河、大蜀山、小蜀山、双河等干渠和分干渠相继开工。与此同时，还建成22座水库和撮镇、十八联圩、龙塘、中派、丙子、官亭、神灵、刘河、兴集等电灌站。这一阶段兴建的工程，为改变全市水利面貌打下了基础。但由于过高地估量了主观能动作用，片面强调“多、快”，忽视了“好、省”，不少工程采取边规划、边设计、边施工的“三边”办法仓促上马，造成一些工程质量差，选址不当，规模不适和返工报废，有的还出现严重的工伤事故。
1963年开始，国民经济贯彻调整“八字”方针，调整水利建设骨干工程项目，认真贯彻“小型为主，配套为主，社队自办为主”的治水方针，整修“尾巴”工程，同时从技术上、器材调拨上支援社队，兴办小型工程。水利建设者对在建工程采取“续、改、缓、停”等措施，调整投资方向。对续建的淠史杭总干渠，在高岗切岭和高填方地段，组织半机械化施工；干渠分干渠的开挖，采取分批进行，缩短基建战线，突击关键枢纽工程，做到有计划、有目的、工程配套、讲究实效。在对淠史杭引水工程进行配套施工的同时，有重点地进行修建提水工程，为一个灌区的续建工程奠定基础。
1966～1976年，是“文化大革命”的十年，全市水利建设者忍辱负重，排除干扰，续建淠史杭灌溉工程。开通潜南、滁河、瓦东干渠，完成了淠河总干渠肥西段遗留的288万立方米土方工程，续建磨墩中型水库，完成潜南、大蜀山、小蜀山、双河等干渠、分干渠以及支渠配套工程。建成英山、磨墩、江夏、金桥、北分路等提水灌区。这一期间在逆境中抢建的工程，施工管理混乱，合理管理制度因被污蔑为“管、卡、压”而遭废除，工程质量较差，不少水利工程不能发挥应有的效益。但全市范围内，淠史杭、巢湖、两湖(瓦埠、高塘)、驷马山四大灌区已经形成，江淮分水岭及两侧高地大部分地区水源已得到解决。1970年后，水利建设重点是向水利“死角”及田间纵深处发展。在骨干工程水源所及的地区，扩大“旱改水”，提高单位面积产量；在各灌区边远地带，建立反调节水库，改善和扩大自流灌溉面积。1972年后，在全市展开以治水改土为中心的农田基本建设，改冲、改圩，平整土地，实行“山、水、田、林、路”综合治理。岗冲地带，改善了排灌条件；低洼圩区，开始改造冷浸田。三年多时间，全市改造这两种田约30万亩(不包括平整土地)，提高了复种指数和单位面积产量。这一时期水利建设上所出现的主要偏向是“重大轻小”、“重引轻蓄”；农业上“以粮为纲”，片面要求“扩大面积攻总产”，结果废塘为田风盛行，塘坝蓄水量锐减，致使一些地区在外水供应不足时，生产遭受损失。
1976～1988年，水利建设处于整顿阶段。抓灌溉工程配套，扩大工程效益。1975年河南林庄大水，引起合肥地区对水库除险加固的重视。为了合肥城市安全，1978年，首先对董铺水库除险加固。继而对全市216座中、小型水库进行除险加固施工。1979年，全市耕地实行家庭联产承包责任制。水利管理制度跟不上形势的发展，不少工程无人管，一些建筑物受毁，灌溉放水时一户一把锹，用水浪费。经严肃处理后，水利建设趋于正常。1980年后，国民经济再度调整，强调经济效益。水利部门对部分工程实行承包到人的管理责任制，合理调整水费征收标准，组织开展多种经营，着重抓工程配套挖潜，提高经济效益，使管理工作取得了良好成绩。
40年来，合肥市水利建设总投资18264万元，其中国家和地方财政投资12612万元，群众自筹和劳务投资5652万元。共做土石方71374万立方米。建成大、中、小型水库454座，整修塘坝89888口，蓄水量达10.20亿立方米，为1949年的5.1倍。建成淠史杭、巢湖、两湖(瓦埠、高塘)、驷马山四大灌区，开挖各种渠道17220公里，兴建大小机电排灌站566座，装机1694台，190228千瓦，并拥有大批农用内燃机，修筑圩堤442.24公里。
1988年，全市灌溉面积达382.67万亩(占耕地面积418万亩的91.5%)，早涝保收面积218万亩(占耕地面积的52%)，低洼圩区治理22.91万亩(占圩田44.14万亩50%以上)。由于抗旱能力的增强，1988年水旱成灾面积比建国初期降低60%左右，其中旱灾面积降低70%以上。建国初期，旱地作物绝大部分系麦、菽、薯等类，亩产仅80公斤左右，1984年粮食总产15.85亿公斤，比1949年增加251%。
合肥地区治水虽取得巨大成绩，但水利部门领导机构不稳定，管理制度不完善，有些工程“大马拉小车”，或“水到渠不成”，或“乱流飞瀑”，灌溉浪费水严重，防洪除涝能力低，“警报”未解除，有待后人继往开来，再接再励。