民国24年（1935年），凤怀地方法院检察署设在蚌埠。民国28年8月至34年8月，设有伪安徽省高等法院检察署和伪凤怀地方法院检察署。抗战胜利后，除恢复凤怀地方法院检察署外，省高等法院检察署一分署也设于蚌埠。
1950年9月，建立市人民检察署，至1954年改为市人民检察院，为法律监督机关。1962年，市辖区相应建立区人民检察院，但翌年又撤销。1968年1月起，成立公检法军事管制委员会，至1978年，市检察院复单设。党的十一届三中全会后，区级检察院恢复。1983年7月，市、区和辖县检察院合计有工作人员200多人。
凤怀地方法院检察署民国23年7月，国民政府司法行政部派胡恕来蚌筹建凤怀地方法院，于民国24年5月由司法行政部令许恩麟为凤怀地方法院检察署首席检察官，下设候补检察官、书记官长、书记官、候补书记官、录士、法警等员。当时采取法（院）检（察署）合署办公形式，各司其职。民国27年初蚌埠沦陷，检察署官员逃散。至抗日战争胜利后，国民政府于民国34年秋又委派推事、检察官员，重建凤怀地方法院检察署，首席检察官宋锡仲。民国37年10月，司法行政部派卢卓寰任凤怀地方法院检察官，代理安徽省高等法院一分院检察官。抗战胜利后的检察署，下设刑事、民事、文牍、统计、会计等科及侦查庭。
市人民检察署1950年9月建立。初建时，检察长系兼职，设专职副检察长1人，其他检察干部3人。办公地址先在市公安局内，后迁至二马路永康里10号。1953年编制16人，实有干部10人，设工厂企业组、法纪组、秘书组。1954年，该署改为市人民检察院。1950年至1954年，检察署检察长先后由柏寒、李浓云兼任或担任。
市人民检察院于1954年9月由市人民检察署改建，并明确为法律监督机关。1955年，该院编制23人，建立侦查、侦查监督、秘书等组。是年，院址设于二马路577号。1958年11月，市院一度与蚌埠专区人民检察院合署办公（地址交通路），业务范围不变。1964年7月，院址迁于仁寿里83号。1968年1月，成立市公检法军事管制委员会。1973年3月，市公检法军管会撤销，检察院未恢复，其职权由各级公安机关代为行使。直至1978年8月，才重建市人民检察院，编制32人，实有16人。1979年3月，院址迁入市政府招待所，设刑事检察科、法纪检察科、监所检察科及办公室，年底增设经济检察科。1982年3月，增设人事科和政策调查研究室。1983年7月，院址迁入胜利路77号。8月，又增设信访科。至1985年，市院共设刑事检察、法纪检察、监所检察、经济检察、信访、人事科和政策调研室、办公室，人员50人；另辖电视大学法律班1个。1954年至1985年，检察院检察长先后有李浓云、张林志、吕殿甫、杨振华、王俊、胡德新、栾玉岫。
区级人民检察院1962年1月，东、中、西区分别建立人民检察院，配检察长和检察员、书记员各1人。翌年下半年，3个区院撤销。1979年9月，又重建东、中、西区人民检察院，郊区也建立检察院。各区院均分别设立刑事检察、法纪检察、经济检察等科，人员合计72人。
市检察委员会1962年，根据《人民检察院组织法》建立市检察委员会，由吕殿甫等7人组成。检察委员会建立后，主要研究处理业务上的重大问题。该委员会于1966年因“文化大革命”停止工作。1980年11月，报请省人民检察院，并经省人大常委会批准，再次由王俊等9人组建市检察委员会。1983年8月，由栾玉岫等7人组成该委员会。