淮南市推行公证制度始于1951年。是年9月至1953年9月，市人民法院内设公证股，试办公证事项。1954年7月，市法院改设公证室，并逐步开展公证工作，至年底，共办理公证事项301件。1956年11月，市法院公证室扩建为市公证处，公证工作不再受市人民法院管理。为了开拓公证工作的局面，市公证处和市人民委员会司法科对公证的性质、作用等进行了大量的宣传，效果明显。1956年仅合同公证一项即有601件，比1955年286件办证数增长110%。1957年，全市共办理公证事项2022件，是50年代公证工作的全盛时期。1958年秋，市公证处与市人民法院接待室合署办公。1966年5月，“文化大革命”开始，市公证机关名存实亡，其业务基本停顿。1967年5月，淮南实行军管后，市公证处消失。
1981年2月，市公证处复建，1984年，设立了潘集区公证处，为全省首家市辖区公证机关。1982年，市公证处开始办理土地征用、搬迁、租赁经营招标等公证事项，并办理了全省第一个矿村转供电合同公证，解决了煤矿与农民长达15年的供用电纠纷。1983年，市公证处在全省公证机关中第一个实行内部承包。次年，制定了岗位责任制方案，在淮南召开的全省体制改革会议上被作为经验介绍、推广，获得了市政府的嘉奖。为了支持煤矿用工制度改革，市公证处1983、1984两年办理协议工劳务合同公证10040件，使协议工成为煤炭生产的新生力量。随着经济体制改革的深入发展，公证机关先后办理了企业租赁经营、资产经营承包、农村土地承包、森林承包、招标投标、抵押贷款、拍卖、联营合同等公证事项，业务范围不断拓展，公证事项由原先的8种达到40余种。市公证处制定的《关于小型工商企业租赁经营公证暂行办法》，由省司法厅转发全省推广。1985、1986两年，市公证处年均办证数万件，连续两年位居全省第一。1985年，市公证处获全国司法系统先进集体称号。同时，涉外公证业务也有所发展。1986年省司法厅决定将阜阳地区、寿县等11个县的涉外公证划归淮南市管辖。1988年1月，省皖北片公证业务交流会在淮南召开，市公证处在会上作了典型经验介绍。
1990年，全市已有百余名公证联络员。同时，市公证处与建设银行淮南支行等10家企事业单位建立了常年公证关系，还慎重试办了强制执行公证。
市公证机关重建以来，随着经济和国际交往增多，经济合同公证和涉外、涉港澳地区公证事项的办证数量上升。10余年来，共办理各类公证事项60650件，其中涉外公证事项805件。公证书已发往美国、日本、德国、加拿大、香港等30多个国家和地区。