1954年7月，安徽省人民检察署与铜官山矿务局着手筹建铜官山矿区人民检察署(以下简称矿区检察署)。同年9月17日，矿区检察署正式成立，次年1月，更名为矿区检察院。矿区检察院(署)直属于省院(署)，兼有专门检察机关和地方检察机关双重性质。
1956年10月，矿区检察院改为铜官山市人民检察院，不再具有专门检察机关性质。
1958年8月，市院与铜陵县院合并为铜陵市人民检察院。10月，成立铜官山、大通、顺安3个区院。次年4月，市、县院分立，3个区院同时撤销。
1960年8月，成立与受理第一审案件的基层人民法院相适应的市辖区级检察机关，定名为铜陵市矿区人民检察院，11月改称为铜陵市市区人民检察院。1961年1月，市区检察院更名为铜官山区院，同时成立铜港区院作为市辖郊区检察机关。1963年8月，铜官山区院和铜港区院撤销。
1964年12月，市院更名为特区检察院。1968年2月，特区检察院被特区公、检、法军事管制委员会接管，检察院停止办公。
1978年7月，市人民检察院重建。
1981年，铜官山区院和郊区检察院重建，并建立狮子山区院和铜山区院。
至1985年，市人民检察院设五科一室，全市共有检察干部153名。
1958年11月，市院成立了第一届检察委员会。检察机关重建后，市院于1979年4月成立了新的检察委员会。至1982年，各区院检察委员会相继成立。检察委员会在检察长的主持下，讨论决定重大案件和其他重大问题。