1952年6月1日，中共合肥市委(以下简称市委)依照《中央人民政府最高人民检察署组织条例》的规定，组建合肥市人民检察署，设检察长、副检察长各1人。1953年6月，检察机构扩编，内设侦审组、侦查组和秘书组。初建时的办公地点在合肥市公安局，不久又迁至合肥市民政局。
1954年9月21日，合肥市人民检察署根据《中华人民共和国宪法》和《中华人民共和国人民检察院组织法》的规定，改为合肥市人民检察院。次年7月，又将三个组改为审批科、侦查科和秘书科。1957年下半年，合肥市人民检察院机构缩编，部分干警调离检察院。
1958年7月，肥东、肥西、巢县人民检察院随着合肥辖区的扩大被纳入合肥。1959年4月，合肥成立了东市区、郊区、南市区人民检察院。1961年2月，合肥建东、西、南、北区检察院。根据法律规定，合肥市人民检察院辖肥东、肥西、巢县和合肥市东市区、西市区、南市区、北市区人民检察院。1961年4月，肥东、肥西、巢县人民检察院随辖区变更被划出合肥，1963年5月，东、南、西、北区人民检察院被撤销。
1963年，合肥市人民检察院增设监所检察科。
1966年，合肥市人民检察院受到“文化大革命”冲击被取消。
1978年9月，合肥开始重建检察院。1979年2月，合肥市人民检察院正式开展工作。全院定编70人，辖东市区、西市区、中市区、郊区和长丰县人民检察院。1983年1月，合肥市人民检察院的职能部门“科”改为“处”。同年7月，增辖肥东、肥西二县人民检察院。1985年增设调研控申处、人事处，编制增至83人。