1954年，淮南市兵役局即着手为贯彻《兵役法》做准备，当年12月，兵役局派出工作组至洞山区胡圩乡进行义务兵役制重点宣传调查试点。1955年7月30日，全国人大通过了《中华人民共和国兵役法》，正式实行义务兵役制。同年开始征召首批义务兵，广大青年踊跃报名参军。当年征召350名新兵，报名人数高达6575人，出现了兄弟争去，独子发誓参军的动人事迹。据统计，父母送子约1000余人，妻（包括未婚妻）送夫（未婚夫）的有300多人，兄弟相争入伍的430人，一些乡干部、小学校长纷纷询问他们够不够条件。1956年，全市征集任务210名，报名达2458人，许多没有被批准入伍的青年，经反复动员劝说方才返回。
淮南籍兵员输送到陆海空军各兵种中，在保卫祖国和建设祖国，在维护世界和平的神圣事业中奉献青春。仅在对越自卫还击作战中，就有12名淮南籍的干部战士献出了生命。1977年，淮南市输送义务兵500余人至中央军委直属机关，在国家最高军事部门履行兵役义务。
1978年军队开始实行义务兵与志愿兵相结合的兵役制度，淮南市义务兵中的一部分技术骨干和优秀基层骨干因表现较好，批准转为志愿兵，成为部队基层建设的骨干力量。