1949年1月18日淮南解放，同年2月5日设民司科，司法、民政合一，是淮南煤矿特别行政区政府内设机构之一。11月28日，民政、司法分开，建淮南矿区行政办事处司法科。同时，办事处下属的田家庵市人民政府也设立了司法科。次年9月22日，成立县级淮南市人民政府，淮南矿区行政办事处司法科及其田家庵市人民政府司法科同时撤销，司法科改建为人民法院，司法行政工作归属人民法院兼管。1954年，市法院设立司法行政科，执掌全市司法行政业务。
1956年6日，市人民委员会司法科成立，次年9月撤销，其业务移交市人民法院。嗣后，市人民法院复建司法行政科，掌管全市司法行政工作。
“文化大革命”中，公、检、法机关受到严重冲击，司法行政工作同时被取消。
1980年9月，市司法局成立，1982年，市辖五区司法行政机构也开始筹建，1983年初，五区一县全部建立了司法局（科）。
1984年，随着基层政权的改革，八公山区率先在乡镇试建司法办公室，并迅速向全省推广。1988年末，改建司法所。1990年7月，确定司法所为县区司法局派出机构，司法行政机构延伸到乡镇、街道。