本县地处大别山东南部，山高林密，交通闭塞，自古是藏龙卧虎，兵家必争之地。宋元明清之际，境内农民运动不断兴起，战事频仍，留下遍布全县的山寨遗迹和古战场。
民国时期，国共两党对峙，境内人民在王步文、王效亭、陈履谦、胡祥仁等共产党人领导下，先后举行著名的包家河、请水寨、头陀河和黄尾河农民暴动，成立苏维埃政权和赤卫队武装，建立中国工农红军中央独立第2师，开辟以天堂为中心的革命根据地。民国24年(1935年)2月，高敬亭和方永乐领导皖西北和鄂东北两地的红军集中于凉亭坳重新组建红28军，并以鹞落坪为中心，在鄂豫皖边区坚持3年艰苦卓绝的游击战争。
抗日战争爆发后，新四军第5师、江北挺进团和沿江支队等部，先后来境内创建游击根据地。岳西人民抗日自卫团、安徽省抗日模范第7大队等地方武装相继成立，投入抗战。31年，国民政府军第48军以抗日名义进驻汤池畈。
抗战胜利后，国共分裂，内战爆发。36年9月，刘伯承、邓小平率领晋冀鲁豫野战军挺进大别山，19日，第3纵队在皖西支队配合下解放岳西县城。37年1月，国民政府军25师反攻岳西，占领县城。国共双方展开一年时间的拉锯战。12月20日，解放军一举击溃移踞沙岭头的国民党县府军政人员，岳西全境解放。
建国后，全县人民积极响应祖国号召，为国防建设输送大量兵员，至1985年，共有5427名合格青年入伍。民兵组织历经调整，武器装备不断更新，训练科目日益增多，军事素质大有提高。1985年，全县共有民兵36401人，其中6848名基干民兵全部服一类预备役；29553名普通民兵全部服二类预备役。