马鞍山地区濒临大江，紧靠南京，地势险要。自古有事东南者，这里为所必争。尤其市区西南隅的采石，是古代军事重镇，江防要塞，素为兵家必争之地。历代均在此重兵设防，故兵争迭起，战事连绵。从汉献帝兴平二年（195）孙策袭夺牛渚营开始，1700多年中，发生在这里的重大战事和军事活动达50余起。首先揭开战争序幕的是汉末的孙策和孙权。自孙策横江袭夺牛渚，开创东吴立国基地以后，司马炎灭吴俘孙皓，陈后主遣兵驻采石，韩擒虎渡江灭陈朝，樊若水献策架浮桥，曹彬挥师取南唐，以及宋、金长期对峙下发生的大规模采石之战，朱元璋发动的采石渡江战役和太平军与清军争夺战等，无一不与采石有着密切关连。
在漫长的历史岁月中，采石作为军事要地，或置重兵戍守，或遣重臣为镇，或设营垒关隘为防，或在此南北交兵，反复争夺，历代统治阶级都十分重视采石的战略地位，因采石一战得天下、失天下者，历史上不乏其人。其中如隋将韩擒虎宵济采石，继而攻灭陈朝。宋将曹彬领兵10万，攻采石，灭南唐，一举统一中国。绍兴三十一年（1161），中书舍人虞允文以不足2万人的少数兵力，大破完颜亮40万金兵，保住宋室半壁江山，使南宋王朝得以延续100多年。至正十五年（1355），元末的采石渡江之战，更为朱元璋所领导的农民起义军转危为安，完成了一次重大的军事战略转移，也为其实现攻占集庆（南京），建立明朝迈出了决定性的一步。尤为重要的是，采石还更多地记载着人民群众反抗封建统治者的英雄业绩。广明元年（880），唐末农民起义军领袖黄巢亲率15万大军自采石渡江，围天长，攻六合，声势大振。咸丰三年至同治元年（1853～1862），太平天国农民革命军在采石的战斗更为频繁激烈，洪秀全自咸丰元年金田起义，第三年春即占领采石，并从采石进发，攻克南京，清政府为镇压太平天国革命运动，勾结英国军舰沿江寻衅，炮轰采石太平军营垒。清军长江水师也长期驻守采石，形成对天京的包围态势。太平军为保卫天京，攻破江南大营，与清军在采石一带进行了长达10年的争夺战。
马鞍山地区是较早开辟的抗日游击战区之一。从民国36年（1937）刘一鸿组织抗日自卫队揭竿而起，粟裕、钟期光率领新四军先遣支队深入江南敌后，点燃革命火种，到人民解放军渡江，马鞍山全境解放，发生大小战事150余起，马鞍山地方抗日武装活跃在苏皖边界一带，打击日寇，消灭敌顽，在战斗中不断发展壮大，为巩固和发展横山抗日游击根据地作出了重要贡献。
解放战争时期，国民党重兵驻守马鞍山地区，采石、慈湖、金家庄，先后驻有国民党陆军、炮兵、工兵、化学兵、通讯兵以及军官总队、后方兵站、医院等营团以上军事建制单位20余个。自当涂、采石至慈湖一带沿江设防，并在葛阳山、赵家山、燕子山等地大举进行实兵攻防战斗演习，妄图凭借长江天堑阻止人民解放军渡江南进。
建国后，马鞍山军事工作和民兵建设成绩显著。1949～1953年，有6823名青年参加人民解放军和志愿军。建市后30年间，又有数千名青年应征入伍。与此同时，民兵建设有很大发展，民兵组织不断巩固壮大。至1987年，民兵总数达10多万人。广大民兵积极参加社会主义革命和建设，在清匪反霸、维护社会治安、保卫重要目标和抗洪抢险等重大斗争中发挥了重要作用。