元初，本县始设陵阳镇巡检司，置巡检1员。明初，选征民壮，于县城设演武场。嘉靖四十三年（1650，始筑城垣，征习武民壮守卫城门。至清初，地方军务大都代以徭役。咸丰三年（1853），为对抗太平军，县设团练局，各都图办团练，县城驻清廷千总官1员节制其事。民国间，县设军事行政机构，办理地方武装、兵役、军需等事宜。
本县地处江南要冲，境内山脉绵亘，为池州府之屏障，历代兵争均延及县境。三国（198—245）期间，孙吴多次出兵陵阳、临城一带，扫荡山越。宋建炎元年（1127）十一月，真定军叛将张遇举行兵变，陷池州，“占领青阳”，县衙迁至九华山盖头岭。其间，宋将刘光世曾率大军扎营于九华广化院，与张遇部激战，刘兵败。元明之际，朱元璋与陈友谅兵争池州及府属各县，拉锯战达5年之久，常遇春在九华山下组织伏击战。太平军在本县境内反抗清廷的战争长达10年，其围攻青阳县城之役，也为规模较大的历史战例。
抗日战争时期，本县为江南重要防线，国民党二十三集团军总司令部及所属二十一军、五十军军部均驻本县，所部多次抗击入侵日军；中国共产党领导的新四军、游击队及民兵，在敌伪顽夹击的困境中，坚持在茗山一带敌后根据地的武装斗争，影响尤为重大。
解放战争时期，中共泾青南大队，先后挫败国民党军队的多次“清剿”，多次袭击国民党乡（保）公所、县常备队，缴获了敌人的大量武器。在人民解放军渡江之际，游击队与民兵曾多次伏击、堵截国民党溃军及铜陵县溃逃官兵。
建国后，本县军事机构与民兵组织建设日趋健全，成为本县人民政权的重要组成部分。