民国初，安庆各县自办有团练或团防局。民国6年（1917年），各县团防局改为地方警备队。人数不一，少则二、三十人（如东流、至德），多则四、五百人（如桐城、太湖）。
民国16至19年，各县先后成立自卫团（大队），区成立保安队，怀宁、太湖、宿松、潜山等县成立联防大队，共6000余人。
民国21年，国民政府在太湖成立第一督察专员公署保安司令部，专员徐沛南兼保安司令，汪洪任副司令兼保安大队长。第二年，各县自卫团改为保安大队，下辖2～3个中队（每个中队约合正规军一个连）。民国24年，杨中明任专员兼保安司令。民国27年，张节接替杨中明。
民国28年1月，张威遐接替张节，任专员兼保安司令。县保安大队改为人民抗日自卫队（又称自卫军），保安司令部改为国民自卫总队，总队长仍由专员兼任。各县恢复自卫团（队）番号，下辖常备中队、后备中队，编制如前。
民国29年，专署迁至桐城。秋，县自卫团（队）扩编为国民兵团，县长兼任团长。下辖2～3个大队，每个大队辖2～3个中队，每个中队80～100余人不等。区与区之间实行联防。乡公所成立自卫队，县城还成立警察局、派出所。
民国30年，在望江、太湖之间成立泊湖水警大队，大队长梁金奎；贵池与石台、贵池与青阳成立联防区署。同年范苑声任专员兼保安司令。10月，在桐城会宫（今属枞阳）成立桐（城）贵（池）联防办事处，指挥官方绍志。
民国35至37年，各县国民兵团先后改为自卫大队，区、乡改为联防大队，大队长由专职军人担任，如岳西汪挽澜、望江陶太平、桐城刘东雄、宿松汪庆豪；也有县长兼任的，如太湖李宽、潜山郑桥。民国37年12月，自卫大队复改为国民兵团，由县长兼任团长；也有专职军人担任的，如桐城刘东雄。区、乡改营、连编制，联防大队维持原状，人数有所增加，少则500～600人，多则千人左右。在桐、怀、潜交界处——桐城青草塥和怀宁高河埠成立联防区署，主任分别为林洵、汪传耕。民国36年8月，晋冀鲁豫野战军挺进大别山，江北各县先后解放，国民政府地方武装与地主、豪绅相继逃亡。稍后，晋冀鲁豫野战军主力转至外线，国民政府地方武装又纷纷返回，与地主、豪绅组织起还乡团、清乡队，进行反扑。如宿松的西北联防军和猎户队，公然四处抢劫；潜山、岳西则实行“五户连坐”、“移民并村”等恐怖措施，弄得民不聊生。
民国38年3月，中国人民解放军第二野战军重返皖西，陈师江岸。这时部分国民政府地方武装均潜伏下来，伺机进行破坏。如宿松县大刀会司令吴楚平、胡彩新躲进山区发展会员，武装会众；太湖县陈华山带领大刀会会众千余人，四处抢劫军粮；桐城县散匪朱少华、笪杰等活动于大、小关和双港铺一带，打家劫舍，无恶不作；桐庐县（今枞阳）匪首乔华章、胡二海盘踞在白兔湖、三官山一带，进行负隅顽抗。1950年，各县顽匪均被中国人民解放军和当地民兵歼灭殆尽。