1952年10月成立。部长吴精忠，政治委员由市委书记李任之兼任。1954年10月，淮南市人民武装部整编为淮南市兵役局，局长张兴帮，政委由李任之兼任。1959年11月，市兵役局改称市人民武装部，部长张兴帮，第一政委由市委书记刘廉民兼任，第二政委雷前彬。1983年5月，淮南市人民武装部由正团级上升为正师级，部长刘彦治，第一政委由市委书记张旭东兼任，政委章汉毅。1983年9月，市武装部辖五区一县（大通、田家庵、谢家集、八公山、潘集、凤台县）人武部，王乐平兼任人武部党委第一书记，1985年10月改称淮南军分区。