民国23年，由国民政府建设委员会张静江组织勘测的淮南线铁路工程开工，民国25年初建成通车。民国25年4月，位于淮南线中段的合肥火车站建成。该站属二等车站，隔日有一趟客、货混合列车经过，到卸的民用燃煤约30～50吨。日军侵占期间，在铁路沿线的水家湖、朱巷、下塘集、合肥等车站和附近的交通要道处建造碉堡，维持列车通行。抗日战争胜利前夕，淮南铁路沿线的车站、桥梁等铁路设施，被日军飞机掷弹炸毁。抗日战争胜利后，新成立的淮南铁路局组织民工，于民国37年9月22日将水家湖至合肥的铁路线修复，并于10月10日在合肥举行了通车典礼。
解放后，人民政府高度重视铁路建设，于1950年11月将合肥至裕溪口段铁路修复，使淮南铁路全线通车。自1951年起，合肥火车站陆续进行了较大规模的建设。至1959年，新建的货场、仓库、站台等设施竣工后，合肥站已初具规模，当年发送旅客138.7万人次，货物到发200多万吨。1960～1962年间，客、货运输量下降，1962年办理的货运到、发量分别比1958年同期下降25％、47％。后经“调整、巩固、充实、提高”，铁路运输步入健康发展的轨道。1966年，合肥站办理的货物到、发量分别是1962年的1.6倍、1.8倍。
1978～1980年，合肥火车站经扩建改造后，运输能力进一步增强。为满足合肥各项建设事业发展的需要，1985年，站售票窗口由6个增为14个，通信、信号设施全部实现自动化，日到发客运列车22个车次，年发送旅客331.42万人次，到达旅客324万人次。1987年发送旅客371.85万人次，到达旅客368.7万人次；发送货物83.6万吨，到达货物309.4万吨。