市境建国前为三县交界之地，淮南矿区形成于民国时期，历史上市境重兵长年驻守较少。抗日战争时期，为抵抗日军入侵，曾驻守相当于1个军的国民革命军（桂系），历时近1年。抗战胜利后，驻有以煤矿警备为主要任务的淮矿警察总所，交通警察七总队等属于地方性的准军事部队。1967年，中国人民解放军陆军第三十四师进驻淮南，执行特定历史时期“军事管制”任务，历时2年左右撤离。