1952年2月市人民检察署建立，由省检察署调来5名干部组建。1954年4月，市署成立了检察委员会，并设内部机构。1955年1月，市人民检察署更名为市人民检察院，内设秘书组、审判组、劳改监督组。1959年精减机构，检察院内设机构调整为秘书、业务两个组。6月，分别建立了田家庵、大通、八公山区检察院。1961年随着区划变更，成立了谢家集、八公山两个区检察院。7月，建立了郊区检察院。
1966年公检法机关遭到冲击，冬，市人武部对公、检、法实行军事管制。1967年9月，6408部队进驻淮南，成立“中国人民解放军安徽省淮南市公检法军事管制委员会”。市、区检察院被撤销，检察职能由军管会行使。
1978年12月，市检察院重新组建，各区检察院同时恢复重建。1984年5月，市检察院新的检察委员会成立，成员9人。1988年8月，市人民检察院组建派出机构，分别设立驻淮南矿务局检察处、驻市税务局检察室、驻市劳改独立大队检察组。1989年12月，驻劳改独立大队检察组更名为驻市劳动教养管理所检察组。
1990年8月，成立市人民检察院反贪污贿赂工作局。