中国共产党组织领导的合肥民兵组织，创建于民国17年冬至民国18年夏。当时，中共六安中心县委派干部与合肥地区的中共党组织一起，首先在西乡雷麻店、焦婆店等地组织了农民赤卫队。赤卫队编为大队、中队，装备大刀、梭标和少量枪支，平时不脱离生产，有事时集中起来执行任务。
这些赤卫队武装，在中国共产党的领导下，由参加反抗封建地主剥削的扒粮斗争，保护农民抗租、抗捐，一直发展到伏击国民党当局的正规军。部分赤卫队逐步脱离生产，演变为合肥地区最早的游击队。
抗日战争时期，合肥人民不甘做亡国奴，他们拿起民间私枪自发地组成民间武装，抗击小股日寇，对抗土匪，保卫家园。其名称因地而异，有的叫民枪队，有的叫自卫队、看更队、青年队、基干队等等。其中一部分为中国共产党掌握，演变为合肥地区抗日政权所属的区大队、乡中队等地方武装。在当时日、伪、顽夹击的残酷形势下，部分由共产党掌握的、属于民兵范畴的民间自卫武装和区大队、乡中队，后来发展成为完全脱产的地方武装或正规的新四军部队。
解放战争中，合肥民兵经受了地方政权、主力部队北撤后残酷局面的考验，于解放战争后期逐步恢复了活动，特别是通过支援解放大军渡江作战和剿匪斗争，培养和锻炼了一批民兵骨干。
1952年3月，合肥市人民武装部成立，组织领导郊区民兵工作。1958年10月，合肥市区第一个城市产业工人民兵组织—合肥纺织机械厂民兵基干连成立。1959年10月28日，毛泽东主席在视察合肥市郊区蜀山公社时指示说：“民兵要组织好，平时搞生产建设，战时支援解放军”。毛主席的指示使合肥民兵和各级人民武装部受到极大的鼓舞。建国后，合肥民兵组织不断成长壮大，由最初的几百人发展到十数万人；由农村发展到城市；由单一的步兵发展到炮兵、防化、通信、侦察等多兵种；由旧杂武器换装为制式的国产武器，除轻武器外，还装备了地面火炮、高射炮等重装备。民兵的政治、军事训练水平逐步提高。几十年来，合肥民兵在剿匪反霸、保卫城市、维护社会治安方面，在人民防空建设、抢险救灾、完成急难险重任务方面，在建设社会主义物质文明和精神文明方面，都发挥出巨大的作用，已成为保卫合肥、建设合肥不可缺少的一支重要力量。