合肥人素有“淮上健儿”之称，为历代兵家所重。清咸丰三年(1853)后，太平天国军队经营庐州地区，合肥人民多有投军，且作战骁勇，因功至统兵将领者达数人。清王朝亦看中此地兵员，同治元年(1862)十二月十日皇帝诏书称：“庐凤一带民风素称强悍，若派员前往招募，必可训练成军……”后遂有淮军产生。淮军总头目李鸿章及早期官兵多出自合肥，以凶悍能战著称，是镇压太平天国和捻军起义的主力之一。合肥籍的主要将领有刘铭传、张树声兄弟、周盛传兄弟、潘鼎新等。其后，淮军遗风，影响久远，团练武装，经久不衰。清朝末年，有合肥革命志士参加同盟会反清活动，其中王正藩、龚镇洲、倪映典、王天培为准备武装斗争，分别入安徽省立陆军弁目学堂、保定陆军速成学堂、安徽武备学堂、日本土官学校学习军事，后均在辛亥革命中大有作为。大革命时期，数十名合肥青年投入黄埔军校和武汉中央军事政治学校学武从军。在黄埔军校1～6期学习的合肥籍学员有唐同德、孙怀远、蔡炳炎、许文騄、朱深、陈荣光、徐百川、张璋、童善宇、李时敏、王伟矩、陈忠、詹用韬、龚体仁、王彬、张如屏(今长丰县杨庙人，当时杨庙属寿县)等。在武汉中央军事政治学校学习的有李坦、张建之、王影怀等。其中不少人后来成为国共两党军队将领。抗战爆发，日军侵皖，合肥民众奋起反抗，志愿参加抗日自卫军者达万人以上。其后，加入国共双方军队者数以万计。在中国共产党领导的人民武装中，合肥籍人死于抗日者不计其数。国民党军队中，合肥籍人死于抗战亦不在少数。其中国民党上将卫立煌及其所部数千名合肥籍官兵，在华北对日作战和滇西对日作战中，获重大战果，也遭受很大伤亡。第18军67师201旅旅长蔡炳炎于民国26年8月26日在沪淞抗战中牺牲。抗战胜利后，合肥县政府一次就公布合肥籍抗战阵亡官兵294人。虽然国民政府役政黑暗，有负国民，然而合肥人民从军报国之情有志为证。土地革命战争、抗日战争、解放战争和抗美援朝战争期间，大批合肥青年投身革命军队，报效国家。中华人民共和国成立后，随着1954年《兵役法》的颁布实施，合肥市至1985年征集90000余人服兵役，有数百名初、高中学生考入各类军事院校，接受培养。此外，以预备役士兵、预备役军官和民兵的形式接受预备役军人训练的公民，数以十万计。合肥人民从军卫国的热情，代代相传，经久不衰。