淮南解放伊始，民政、司法合一。1949年11月，民政、司法分署，次年，司法行政工作归属人民法院兼管。1956～1957年间，淮南作为省辖市设有司法行政机构，其后撤销，原有业务由市人民法院掌管。
1978年12月，中共十一届三中全会确立发扬社会主义民主，加强社会主义法制的方针，司法行政机构得以复建。1980年8月，市司法行政机构恢复建制。嗣后，五区一县相继建立司法科（局）。1984年，在全省首建乡镇和城市街道司法办公室（司法所），并迅速推广，逐步完善。全市司法行政组织体系初步形成。
通过开展司法行政各项工作，为社会稳定，改革开放和经济建设提供的法律服务和法律保障职能逐步健全。1990年，全市有司法行政机构34个，法律服务部门27个，干警队伍已由复建时期的17人，发展到291人。领导和主管劳动教养、律师、公证以及法学教学工作，指导和管理法律宣传教育和人民调解、基层法律服务工作，参与社会治安综合治理；协助基层政府管理考察司法行政机关的领导干部，指导下级司法行政机关开展工作，管理和指导司法行政系统调查研究、法学研究和司法行政业务交流工作。