在司法局正式成立前，淮北市司法行政工作，部分业务由市中级人民法院负责。1980年7月，公证处正式成立，在人民法院的领导下开展了部分公证业务。1980年12月10日，淮北市司法局正式成立，但办公地点、经费仍同市法院在一起，直至1981年8月11日才分开办公。1982年6月，成立市法律顾问处。司法局的内设4个科室，下属单位为公证处和法律顾问处，属司法局领导。1984年，相山、烈山、杜集3个区分别成立区司法局。1985至1987年进一步调整机构，充实人员。至1992年底，司法局内设5个科室，3个下属单位。