淮河堤防始于清代。民国18年（1929年）冬，国民政府导淮委员会始筑石头埠至姚家湾淮河右堤，老洛河街至新城口淮河右堤，上窑至新城口窑河左堤。民国21年国民政府救济水灾委员会建黑张段、平三段、三芡段。民国35年筑六坊堤。
1950年淮河大水。除老应段外，其他堤段全部溃破。水退后，修复加固了黑张段、老应段、石姚段，兴建田家庵圈堤等淮河右堤，培修平三段、三芡段，兴建凤平段等淮河左堤。由于水文资料不足，财力有限，堤顶高程仅超出1950年洪水位（田家庵淮河水位22.56米）1米，故1954年大水（田家庵淮河水位24.03米）除老应段、田家庵圈堤，其余全部漫溃。
1954年汛后，市委、市政府根据治淮委员会对淮河堤防的重新规划，分类设计标准。淮北大堤和城市工矿圈堤，堤顶高程超出1954年洪水位2～2.5米；行洪堤按照省政府规定的3～5年一遇的洪水标准培修加固；生产圩堤按市政府要求筑堤。至1956年汛前，堤防涵闸工程按计划完竣。
1956年1月，汤渔湖遥堤及其涵闸开工，12月底完竣。同年退建平三段，形成汤渔湖缕堤和程小湾圩堤。1957年建行洪堤耿石段和幸福堤。1959年二道河工程方案实施，1964年黑张段改建成黑李段工矿圈堤，并将原六坊堤分割成上六坊堤和下六坊堤。1965年始建窑河封闭堤及涵闸，次年建成。1968年耿石段加固成城市工矿圈堤。至此，淮南市淮河堤坊全部形成，其中淮北大堤，西自九里湾以东与凤台淮北大堤接，东至苏嘴孜，与怀远淮北大堤接，长33.98公里；淮河以南城市工矿圈堤，西起黑李段中部，与凤台黑李上段接，东至上窑镇，计长33.04公里，沿堤建成各类涵闸63座，并相继建成电力抽水站24处，有效地保证了城市及农业、工业、煤矿生产的安全，遏制了洪涝的威胁。
1990年底，国家累计为堤防建设和加固投资1506.46万元，完成各类堤防计长305.74公里，块石护坡长35.29公里，护岸长5.14公里，完成土方1754.86万立方米，石方29.67万立方米。