随着国民经济的日益发展，华东地区津浦、沪宁干线长期处于超负荷状态，为了缓解这一矛盾，国家决定在华东开辟南北铁路第二通道（相对于京沪线而言），这条通道包括阜淮线。阜淮线西起阜阳，经颍上、张集、凤台、潘集，横跨淮河至淮南站，全长125.306公里。
阜淮铁路分阜潘（集）和潘洞（洞山，即淮南站）两段施工。潘洞段于1978年3月动工，在铁道部第四工程局和淮南市古沟区民工的共同努力下，1979年9月铺轨，12月29日完成双线铺轨任务。阜潘段于1978年9月动工，1980年底路基工程基本完成。1981年国民经济计划调整，阜淮线缓建。1982年国家投资续建，当年全线铺通接轨。1983年11月9日开始临管分流。1984年10月1日阜阳至淮南西站开办临时客运业务。1986年12月25日经铁道部验收合格，1987年1月7日起交蚌埠铁路分局临管运营。
阜淮线横跨西淝河、淮河，建有2座特大桥。淮河特大桥由铁路部大桥局设计，是淮河上架起的第一座铁路、公路两用桥。上层为公路桥，由淮南市政工程公司铺筑；下层为铁路桥，由铁道部大桥局第四工程处施工。正桥为平弦三角连续铆接钢桁梁，铁路桥南岸引桥61孔，北岸引桥26孔，全桥长3428.5米。1982年12月20日全桥建成通车。西淝河大桥是跨越西淝河的铁路双线桥，位于淮南市凤台县境内。1979年3月1日施工，1980年11月1日建成，全长2476.22米，共100孔，按四级航道设计，通航孔净高7米，桥墩高5～15米。