一、清政府地方武装
砀山团练组建于咸丰年间，是封建地主阶级武装，先后被太平天国军和捻军多次击溃，打死数百人。咸丰八年(1858)四月，在砀夏两县交界处的一次战斗中，砀山练总黄之普及副练总杜明毅、汪迪吉、杨文源、杨文潭、薛其诗、薛其璜等人被击毙，练丁死伤一百多人。打死夏邑县练总、副练总共5人，练丁百余人。
义勇清末，县地方武装称“义勇”，限额100人，用以维护地方治安。县另有卫队二、三十人。
二、国民党地方武装
保安大队民国20年前后，县成立保安大队，有骑兵两个班。
常备队组建于民国28年，县成立常备总队，县长窦瑞生任总队、李忠祥任副总队长。各区成立常备大队，下辖常备中队，大队长由区长兼任。民国29年秋，奉江苏省政府令，县常备队总队改为常备旅。后又改为保安旅，窦瑞生任旅长，李忠祥任副旅长，下辖3个团，团以下为营(大队)、连、排、班编制。
警卫营民国28年，唐长城和高瑞清组织起游击队，后改编为县政府直属中队，唐长城任指导员，高瑞清任中队长，王新民任中队副，下辖二个排。同年冬，直属中队与警卫队合编为警卫营，下辖3个连，负责县府警卫，马子良任营长，王清连任副营长，夏文旭任教导员。民国29年秋，警卫营编入常备队。
常备纵队民国32年2月，国民党第一路游击队总指挥王仲廉(驻阜阳)对苏鲁豫边区游击队进行整编，砀山武装编成两个常备纵队，即39纵队和40纵队。39纵队司令胡式如，副司令陈德增，40纵队司令李忠祥，副司令马子良。民国33年，李忠祥部被八路军打败，其第三支队队副李效先迫于形势，投降砀山县抗日民主政府。李忠祥率残部退至砀城附近，暗与日伪军达成共同防共协定。同时，派其部二支队一、二大队与丰县武装合编成一个团。之后，李忠祥部驻守砀城东关外耶稣教堂和李庄车站。同年10月，胡式如部在砀南被新四军击溃，胡式如和其部第一支队长杨昆山等官兵698人被俘，第二支队长邱洪斌率部投靠永城县的刘子仁，第三支队(队长刘德胜)一部分被韩呈祥拉走投靠蒋嘉宾。此后，尉凤贞代理39纵队司令，收容残部，驻守陇海铁路沿线，与汉奸王道龄、汪君同、徐云雷相互勾结。
保安团民国34年11月，受江苏省政府命令，39、40两个常备纵队改编成两个保安团，李忠祥、尉凤贞分别任两个保安团团长。民国35年4月，两个保安团缩编为一个保安团。李忠祥任团长，韩雪松任副团长。是年8月，人民解放军第一次解放砀城时，保安团被全歼，李忠祥被俘。民国35年10月，重新组建县保安团，下辖3个大队，县长武建威兼团长，县府军事科长郭子龙兼任副团长。民国36年11月，人民解放军第二次解放砀城时，县保安团大部分被歼，后由郭子龙任团长，阮孝勤任副团长。民国37年10月，人民解放军第三次解放砀城时，保安团全部被歼。
民众自卫总队民国36年3月，县长武建威将各区武装整编成砀山县民众自卫总队，平时活动于各区，必要时统一调遣。总队下辖8个支队，24个分队，共1511人，武建咸任总队长(后由曹洪铸担任)。民国37年10月，人民解放军解放砀城时，县民众自卫队被消灭。
保安独立大队民国37年6月，国民党县政府纠合山东刘耕来部成立保安独立大队。同年10月，人民解放军解放砀城时，该大队全被消灭。
三、人民武装
抗日义勇队民国27年5月，为抗击日本侵略军，孟宪琛、孟宪理、李庆瑞、孟宪恭等人，在孟楼一带筹集枪支，组织十余人的武装。不久扩大到百余支枪，命名为“抗日义勇队”，下设3个排，孟宪琛任队长，陈雪楼负责政治工作，李德芳任文化教员。砀山沦陷后，孟率部到丰县李新庄、与李贞乾、王文彬领导的抗日武装汇合，6月13日湖西地区人民抗日义勇队二总队成立时，这支武装编为二总人第六大队，孟宪琛任大队长兼参谋主任。陈雪楼任指导员(后由史晓昭担任)。民国28年7月，六大队改编为湖西区党委警卫队。
砀山第一特务队民国27年9月，湖西地区人民抗日义勇队二总队政委郭影秋和六大队长孟宪琛带20余人的武装来砀北发动群众。扩大抗日武装，与二区陈雪楼组织的20多人的武装和史晓昭、马子良等人组织的武装合编为砀山县第一特务队，陈雪楼任队长(后换马子良)，史晓昭任指导员，杀了汉奸周则堂、祝寇甲和敌探杨广升。民国28年3月，第一特务队编入八路军苏鲁豫支队。
砀山基干队民国28年4月由中共砀山县委(砀北)组建，韩建标任队长，朱奎长任指导员，有百余支枪，不久即改编为湖西地区党委警卫队。
黑海大队民国29年2月，中共砀山县委(砀北)对外改称黑海工作团，为更好地开展武装斗争，打击日本侵略军，黑海工作团组建黑海中队，约三、四十人，李宗月任中队长。不久黑海中队扩建为黑海大队，约百余人，殷殿军任大队长，朱奎升任副大队长，王光中任政委。同年5月，在丰县卞集消灭国民党汤铁飞部千余人。10月，三次奔袭丰县刘王楼区区队，区长刘子旱被击毙。不久，黑海大队改编为湖西军分区直属大队。
砀丰单三县大队民国31年冬，史晓昭在砀丰单三县交界处组织起联防队，开始有二、三十支枪，后发展到百余支枪，史晓昭任队长。民国32年9月，改编为砀丰单三县大队，下设二个中队。史晓昭任大队长，谢友才任大队副，杨明任政委。主要活动在砀北、单东南、丰西一带。
砀山独立团砀山大队华砀支队华砀大队民国33年9月，砀丰单三县大队改为砀山大队，史晓昭任大队长，褚振民任政委。同年10月中共砀山县委(砀北)派史晓昭去做国民党砀山常备队营长李效先的策反工作，李为脚踏两只船，保存实力，表示在答应保留其部独立编制，让他当团长，愿率部起义，为扩大抗日统一战线，砀山大队改为砀山独立团，由李效先担任团长，史晓昭兼任政委，贾汉英任政治部主任，谢友才任参谋长。李效先带来的两个连编为第一营，原砀山大队编为第二营。
民国34年10月，李效先叛变，将砀山独立团一营拉走，砀山独立团又改为砀山大队。史晓昭兼大队长，刘云任大队副，褚振民兼任政委。刘洪飞任副政委，下辖二个连。
民国35年11月，中共华砀县委和华砀县民主政府成立，砀山大队改为华砀支队，史晓昭任支队长，李旭华任支队副，魏钦公任政委，王茂德任参谋长，原砀山大队编为1个连，原华山县大队编为5个连，共6个连。
民国36年元月，改华砀支队为华砀大队。李旭华任大队长，王茂德任大队副。魏铁公兼任政委。民国36年7月，由华砀县恢复华山县、砀山县建制。同时，华砀大队升编为湖西军分区主力部队第七团(史晓昭任团长)，砀山县缺少武装，湖西军分区决定将单虞县大队改为砀山大队，张世珠兼任大队，赵福先任大队副，刘子重兼任政委，王忻任副政委。民国37年11月，砀山全境解放，次年2月，砀山大队大部人员随人民解放军南下。
砀南独立营民国28年底，国民党砀山县县长窦瑞生与砀南办事处主任胡式如，蓄意制造摩擦，借改组常备队为名排挤共产党对抗日武装的领导。民国29年2月，新四军六支队为反击国民党顽固派的挑衅，消灭常备队杨昆山部一个中队，以策应5区常备队一中队长席伦则(中共党员)和6区常备队二中队长王次青(中共党员)率部起义，两个中队合编为砀南独立营，王次青任营长，席伦则任政委。同年3月16日，砀南独立营配合新四军主力部队在永城东北磨山同日伪军交战，歼敌200多人，炸毁敌汽车6辆。4月，砀南独立营编入新四军六支队一总队。
砀南大队民国29年5月，中共砀南县工委组建砀南大队，约五六十人，张文炳任大队长，魏绍田任副大队长，杨元璋任政委(后由王华接任)。民国30年5月，日伪军及国民党顽固派对豫皖苏边区根据地的进攻加剧，砀南县党政军人员随新四军四师撤往津浦铁路东洪泽湖一带。
民国33年8月，新四军四师收复豫皖苏边区根据地。12月中共砀南县工委重建砀南大队。王次青任大队长，王志惠任政委。朱子约任军需，下辖两个连，共130多人。民国34年4月2日，砀南大队驻今永城县东北鱼山南杜庄，进行休整，4日凌晨，一连连长王益祥和二连连长翟清香叛变，拉走一连全部和二连一个排，近百人。大队长王次青，一连指导员王爱民、三河乡乡长王化常和郑楼乡财粮员郑宗银惨遭杀害，叛变分子以王次青的首级向县常备纵队三十九纵队代理司令尉凤贞请赏。同年5月，中共砀南县工委在原砀南大队特务班和二连二排的基础上重组砀南大队，王志惠任大队长，黄建勋任大队政委，大队暂辖一个连，不久又扩建第三连(二连为虚设)，全大队约140多人。
民国35年7月底，砀南大队建制撤销，所辖连队并入雪枫总队。砀南区组建区队，魏化洲任区队长。民国36年12月，中共砀南县委在新兴、雨亭、陈营等区区队的基础上。组建砀南大队，刘笑平兼任大队长，刘兆学任副大队长，鲁禹道兼任政委、王文蔚任副政委。大队下辖四个连，约500人。民国37年10月初，砀南大队在原四个连的基础上，又增加两个连的建制，并改为砀南支队，姚昌德任支队长，鲁禹道兼任政委，王吉仁任副政委。王文蔚任政治部主任。民国38年3月，砀南支队升编为河南省独立三团一部，砀南县又组建县大队，政委侯范彩。