民国24年（1935年），在凤怀地方法院在蚌设立后，每年都受理一批民事调解案件，但调解成立的较少。
1951年，市人民法院筹建各级人民调解委员会，并拟订《人民调解委员会组织暂行规程》，明确了基层调解委员会的设置办法和调解工作的原则、程序、纪律等。同年6月，在东风派出所建立第一个居民调解委员会。1952年底，以民主选举方式，在国安、中荣、乐安等19个地段建立了调解委员会。1954年，郊区各乡也相继建立调解委员会。调解组织建立后，多对婚姻、债务、买卖、斗殴等轻微民事、刑事纠纷进行调解，1953年为2824件，1954年为6816件，1955年为8574件。1956年至1958年，3年合计7383件。调解工作的开展，减少了民事、刑事诉讼，维护了社会安定。至“文化大革命”期间，各调解委员会调解工作未能开展。
党的十一届三中全会后，人民调解委员会得到全面恢复和发展，街道、工厂、乡村分别设有调解领导小组、调解委员会和调解委员，形成三级调解网。东市区和西市区的工厂与街道居民委员会，还建立了联合调解委员会，处理工厂与居民之间的纠纷。1985年，全市调解组织有391个。其中，调解委员会市区152个，郊区165个；乡、街道调解领导小组13个，工厂调解组织61个，共有调解人员2226人。1980年，在市司法局成立后，各区街道、公社（乡）配备有专职司法助理员，直接组织领导调解委员会的工作。1980年至1983年，调解组织共调处各种纠纷1533件，相当于市、区法院同期受理民事案件（1602件）的9.6倍。1983年开始，调解组织积极配合“严打”斗争，参加社会治安综合治理，做好教育、挽救失足青少年的转化工作。对社会待业青年多以居民段为单位，把他们组织起来办夜校。据1984年不完全统计，仅调解委员参与综合治理的活动达4400多人次，揭发检举坏人坏事469起；教育犯罪分子家属513人，建立帮教小组532个，包管包教900多人。1984年至1985年，各级调解组织计调处纠纷1.07万件，是法院同期受理民事案件（3251件）的3.3倍。