市人民法院1950年成立。1950年11月间，淮南土改、镇反运动开始后，市法院派出审判人员，在市郊农村组建了市人民法庭和第一分庭，后随土改结束而撤销。1951年，建立刑事、民事两个审判庭。1953年底，在大通、九龙岗、八公山、谢家集地区建立第一、第二两个巡回人民法庭。1955年2月改两个巡回法庭为市法院人民法庭。1956年11月15日，成立了公证、法律顾问两个处。
1958年9月9日，淮南市法院改置为安徽省淮南市中级人民法院。1959年5月1日，新建了大通、八公山、田家庵三个区人民法院。1961年7月15日，在古沟区增设了郊区人民法院。10月，因八公山区划分为八公山、谢家集两个区，谢家集区亦筹建了新的人民法院。
1966年下半年，“文化大革命”开始，1967年9月，军代表进驻市中级人民法院，1968年6月宣布军管，成立公检法军管会审判组，从此时起，审判职能由军管会取代。
1973年4月1日，经中共淮南市委批准，市、区两级人民法院恢复。中共十一届三中全会以后，市人民法院机构全面恢复，1979年，重建审判委员会，1980年市人民法院设民事审判庭，刑事审判一、二庭，经济审判庭。1982年1月13日，古沟区人民法院更名为潘集区人民法院。到1990年底，市中级民法院辖区凤台县、八公山区、谢家集区、田家庵区、潘集区、大通区6个基层人民法院。市中级人民法院内设刑事审判第一庭、刑事审判第二庭、民事审判庭、经济审判庭、行政审判庭、审判监督庭、执行庭。