(一)组建
民国17年(1928年)春，中共皖北特委和中共阜阳县委，遵照中共中央“八·七”会议精神，在阜阳县王官集、插花庙等地组建农民赤卫队3000余人，配合国民革命军第十九军教导团，举行“四·九”起义。起义失败，赤卫队解体。
民国36年(1947年)至37年，中国人民解放军在阜阳四乡开辟新区，帮助各区组建民兵性质的区队30—100人。
中华人民共和国成立后，各乡组建民兵中队，全县有民兵7120人。
1953年，全县民兵发展至7.5万人，编为331个分队，2056个小队。民兵分普通民兵和基干民兵两种，普通民兵必须是年满16周岁至46周岁的男性公民和年满16周岁至35周岁的女性公民，思想进步，历史清白，身体健康，本人自愿。基干民兵必须是年满16周岁至35周岁的男性公民和年满16周岁至25周岁的女性公民，思想进步，历史清白，身体健康，本人自愿。基干民兵中的武装基干民兵，配备枪支弹药。
1958年9月，大办民兵师，全县编为1个师，23个团，305个营，1752个连，9590个排，26974个班。有普通民兵32.39万人(女性为19.5万人)，其中基干民兵10.63万人。1962年，根据中共中央军委关于民兵工作组织、军事、政治“三落实”的指示，将全县普通民兵整编为90个团，264个营，854个连，9130个排。基干民兵整编为769个连，11602个班。各公社持枪基干民兵一般保持70人左右，配步枪30支，轻机枪2挺。每年冬季开展整训。
1966年，“文化大革命”开始后，掀起了“红卫兵”运动，民兵组织瘫痪。
1968年，县、区、公社相继成立革命委员会，恢复了民兵工作。1973年，为各区基干民兵连配备了自动和半自动步枪、冲锋枪、六Ｏ炮、八二迫击炮。1978年，全县基干民兵共配备各种步枪4211支、轻重机枪106挺、冲锋枪261支、各种炮52门。
1981年，根据中共中央《关于调整民兵组织问题的指示》，把区、公社、工厂、学校作为组建民兵的重点单位，科研单位和人数少的单位，不建立民兵组织，压缩了民兵年龄幅度，改普通民兵16周岁至45周岁为18周岁至35周岁，改基干民兵男性16周岁至35周岁为18周岁至28周岁，改女性民兵16周岁至25周岁为18周岁至23周岁；凡28岁以下的退伍军人和受过基本训练的民兵，编为基干民兵，其余编为普通民兵。取消县民兵师和公社民兵团。经过整顿，1982年基干民兵为1.78万人(其中退伍军人1746人)，配备了自动化和半自动武器。普通民兵为10.5万人，编为1个团，13个营，81个连，570个排，1746个班。
1985年，全县普通民兵为10.4万人，基干民兵为1.94万人，编为1个团，12个营，81个连，637个排，1942个班。
(二)训练
在土地革命时期和解放战争时期，民兵(赤卫队)一面参加斗争，一面参加训练。中华人民共和国成立初期，每年冬季对民兵干部训练一次，训练内容是：武器的使用和保管。
1955年后，着眼于普通民兵干部及基干民兵的训练，训练内容是：队列、战术、投弹、射击。
1958年，开展了民兵比武，全县参加实弹射击的2356人，取得优秀成绩的2003人，耿克安、王金美、陈玉林、孙建业等人射击成绩优秀，阜阳军分区奖给他们半自动枪各1支，并出席了1959年4月召开的全国“群英会”。
1969年以后，民兵训练增加了打飞机、打坦克、打空降和防空、防化、防原子弹、埋地雷等内容。每年训练时间不少于20天。
(三)重要活动
民国17年(1928年)，行流、插花等地赤卫队参加了中共皖北特委领导的“四·九”起义。
民国37年(1948年)春，阜北县民兵2000余人带着担架，支援解放军解放阜阳城。
同年冬，阜北县2万多民兵参加运粮、运武器，支援淮海战役。
1949年初，阜阳县民兵500多人，组成随军担架队，支援渡江战役。
在土改、镇反、抗美援朝时期，民兵巡逻、站岗、放哨，监视敌人的活动。1950年至1953年，配合公安部门，侦破反革命案件63起，管制各类反、坏分子3362人。
在治淮和兴建濉阜、阜淮铁路期间，民兵成立了战斗队和突击队，有102人被评为治淮和修路模范。