合肥地处江淮之间。南淝河与其支流四里河、二里河、板桥河水流汇集，径穿市区，注入巢湖，通达长江。历史上，此河一直都是合肥主要的水路运输干道。战国时期，有水运繁昌的白渡港。秦汉时期，是江淮之间重要的水路通道，设有二里港。《史记·货殖传》载：“合肥受南北潮(湖)，皮革、鲍、木输会也。”表明合肥向南通巢湖达长江，向北连瓦埠湖通淮河，水路贯通南北，沿途物资丰富，水运十分便利。三国时期，合肥因其重要的地理位置和便利的水上交通，成为魏、吴逐鹿江淮的必争之地；吴舟师进攻合肥就多达11次。
隋唐时期，周围各县的漕粮大都通过合肥水路运抵京师。唐贞观年间(627～649)，右武侯尉迟恭在“故城东南六里，淝河南岸岗阜”筑“金斗城”。流经城北的一段淝河改名为金斗河，河畔兴起了小史港，交通便利，贸易兴旺。
宋元时期，成批的物资通过合肥水路运转。南宋乾道七年(1171)，淮西帅郭振屯守庐州，实施了“截金斗城之半”，“跨金斗河，拓其北”的宏伟规划，将金斗河、逍遥津、包河、凤凰桥四水围入城内，与南淝河航道并网相连，舟楫相通。
明代，合肥是江淮之间重要的漕运转输地。永乐十八年(1420)，庐州府所辖的合肥、巢县、无为、庐江、舒城、六安、霍山、英山8州县的赋粮和其他物资，大都从合肥水路转运京师。各县所产的贸易商品，如粮、油、棉、竹木、桐油、茶、麻、皮革、家禽、家畜以及矾、铁等矿产品，也大都经过合肥水运集散。正德七年(1512)，庐州知府徐钰因惧农民起义军从水路攻进合肥城池，下令封闭西水关，切断城内河流的水源。穿城而过的金斗河改道，船只不能直达城内，原小史港废，港埠顺南淝河自然坡岸南移。万历十七年(1589)，合肥知县胡正享于城东门外主持建筑王公闸，蓄水利于船舶航行。
清乾隆二十七年(1762)，庐州知府王成主持修复王公闸，蓄水便利水上运输。光绪二十四年(1898)芜湖利济轮船公司的小火轮首次开通合肥——芜湖客运航班，从而结束了合肥有史以来都是木帆船运输的历史。后因津浦铁路建成通车，长江航线敞开，芜湖、安庆、蚌埠迅速崛起，合肥水运较之往昔的地位有所下降，码头变成了小区域性的货物集散地。
民国时期，随着淮南铁路通车和公路汽车运输开始，合肥水路运输日渐萧条。特别是日本侵略军占领合肥期间长期实行水上封锁，使民间水运业几乎断绝，一些民船被日军破坏，不少民船因长期不给使用而腐烂。抗日战争胜利时，民船数量比抗战前减少了71％。民国35年(1946)后，民间水运稍有恢复，却常遭受国民党军警和湖匪的掠劫，致使参加水运的船只仍然稀少。
1949年1月合肥解放后，战勤司令部即组织民船和民工，运送兵员和军用物资至长江北岸，为支援解放军渡江作战做出了贡献。
从1950年起，水运体制发生了巨大的变革。国营合肥轮船营业部和合肥航管站先后成立，受帮会控制的船行被取缔，各种形式的运输船队组建。过去那种靠扬帆、撑篙、摇橹、背纤进行驱动的单一的小吨位的木质帆船，逐渐被机械驱动、航速快、吨位大、可拖带化编队的钢质或半钢质船舶所取代。浆砌块石码头、仓库、堆场逐步取代了自然岸坡，各种装卸机械流水作业，使运量及效率大大提高。80年代，合肥市航运公司船厂不仅能中修、大修各种船舶，而且还能自行建造100吨级钢驳和135匹马力钢质拖轮。这一时期，尽管公路、铁路、民航运输发展迅速，水运占各种运输总量的比重越来越小，但水运综合实力仍然保持适度的增长：合肥港货物吞吐量年均递增15.8％，客运量年均递增13.5％。1985年，其旅客发送量是1952年的64.4倍，占当年四大运输业总量的0.82％；货物吞吐量是1952年货物吞吐量的143.8倍，占当年四大运输业总量的26.8％。