一、组建
民国20年(1931)，中共党员孟宪琛、李庆瑞等人在砀北孟楼、周庄、汪庄、于昌楼一带组建民兵，成立民兵赤卫队。民国23年民兵赤卫队改编为民兵自卫团，共有百余人，步枪20支，短枪1支，土炮1门，活动在孙土楼、张老家、丁寺、孙老家等地，砀山沦陷后，民兵自卫团又改为自卫队，韩建余任队长。民国34年，农村根据地普遍建立民兵组织，仅砀北地区就有11个乡队，有步枪537支，短枪89支，轻机枪4挺，土枪2277支，手榴弹2171枚。民国37年，砀北地区民兵发展到14410人。
1950年砀山县人民武装部成立，各区、乡配备专职武装干部。乡建立民兵大队，下辖中队、排、班。1953年，全县普及民兵制，18—45岁的青壮年基本都参加民兵组织。计有民兵51214人。并建立健全教育、训练、检阅、武器保管等制度。1958年，全县建为一个民兵师，辖7个团，107个营，923个连，2963个排，8894个班。1960年，全县扩编为7个民兵师，32个团、119个营。1978年，以各公社基干民兵营为基础。改编扩建基干民兵团，基干民兵团设有通讯、侦察等专业分队。1979年全县有32个民兵团，辖318个营。580个连，3405个排，计有民兵159429人，有基干民兵85647人，武装民兵7499人。1981年11月，民兵进行组织整顿，对复员退伍军人进行预备役登记。1983年全县计有民兵60500人。其中基干民兵10589人。全县基干民兵编为一个团，辖11个营，67个连，433个排，1163个班，其中有82炮连1个，通讯连1个，重机枪排1个，侦察排1个。1984年在两个文明建设中涌现出先进民兵1200人，先进民兵集体254个。
二、训练
抗日战争和解放战争年代，民兵边练武，边参战，在战争中学习军事知识和技术。建国初，民兵训练的主要内容是射击、刺杀、投弹等。并建立七天一练武，半月一会操，定期训练制度。1958年，民兵实行劳武结合，开展“比技术、比干劲、比贡献”的竞赛活动，掀起练兵热潮。1964年，在民兵训练中，推广“郭学福教学法”，并开展进攻防御、防原子、防化学、通讯联络、侦察、卫生等技术训练。1973年后，训练的重点为战备演习，防空降、打坦克、爆破等协同技术及单兵技术。1979年后，每年对基干民兵集中训练一个月，并建立考核制度。为加强训练，县人民武装部在砀城北赵堤口建立民兵训练基地，占地105亩，可供800人吃、住和训练，每年冬春季抽调民兵进行集中训练。1984年3月，全县抽调15个民兵班，集中在民兵训练基地举办射击、投弹、战术、单兵技术，政治等5个项目的训练考核比武，成绩均达到优秀。
三、参战
建国前，本县解放区民兵除进行站岗放哨，维持社会治安，减租减息，发展生产外，还积极配合人民军队作战，为争取抗日战争和人民解放战争的胜利作出重要贡献。民国31年，民兵自卫队曾夜袭陈腰楼日伪军据点，歼敌20多人，缴获步枪17支。民国33年冬，孟楼、于昌楼、周平庄一带的民兵，在反对日伪军扫荡的斗争中，打死日军10余人，打死打伤伪军百余人。民国34年8月，驻李庄车站的日军暗中接受国民党的密令，拒绝向共产党投降交械，湖西军分区主力八团奉命袭击李庄车站日伪军。同时组织砀山、丰县、单县的民兵破毁李庄至黄口的铁路30多华里，炸毁李庄车站东汪集铁路桥。
民国35年初夏，大寨区的民兵20多人，在史新庄同国民党新五军八十八团某连交战，歼敌30多人。5月，高寨区民兵100多人，在贾寨同国民党县常备队及新五军某部(共千余人)作战，打死打伤敌人一百多人。8月，晋冀鲁豫野战军向陇海铁路全面出击，为配合野战军作战，砀山民兵破毁砀山至黄口的铁路近30华里。仅雨亭、张店、薛湖三个区就出动民兵万余人。民国37年11月，淮海战役开始后，砀北、砀南分别成立“支前指挥部”动员全县人民全力以赴支援前线，以民兵为主组成担架队，运输队，转运支前物资和伤病员，出动担架1977付，人扛车载运送粮食800多万斤。