一、国民兵团
建县前，阜阳县保安团一个大队驻鱼同城集。民国24年(1935年)，在县城泉鞍洲组织壮丁队，有官佐38人。民国25年5月，成立壮丁巡察队4个中队，分发各区。其中第一区署63人，第二区署 127人，第三区署127人。当年8月解散，重新成立30人的骑兵分队。次年扩充为中队。民国27年6月，扩充为3个中队组编为大队。民国30年2月，扩充到3个大队，改编为县国民兵团。县长兼团长，下辖10个中队24个分队。但实际只有一个常备大队，其余两个大队为集训的国民兵，每期集中训练2～3个月。民国34年取消国民兵团编制，缩编为自卫大队，辖2个中队，当年又成立1个特务中队，直属县政府，驻县城为县政府警卫，其余分驻刘兴镇(今属界首)、鱼同城、艾亭边缘要塞。民国36年5月18日，人民解放军解放界首，在刘兴镇战斗中击毙大队长李澄波，10月在吕寨被歼灭。
二、秘密抗日军
民国30年冬，临泉、沈丘、阜阳分别驻有国民党鲁苏豫皖边区党政分会和第三十一军、骑兵第二军、第九十二军等。当日本侵略军大举进犯平汉路时，中共豫皖苏边区党委决定建立以阜阳、临泉为中心的抗日革命根据地，把豫皖苏与鄂豫皖两根据地联成一片，并指示驻临泉县迎仙店的豫皖边区特委以临泉为中心成立秘密抗日武装，准备一旦临泉、阜阳、新蔡沦陷，国民党军队撤走，秘密抗日军进行抗日游击战争。豫皖边区特委按照上级指示，通过县直各机关及各区、乡(镇)中共秘密党员训练国民兵7000多人，全县国民兵的枪支24000支，共产党掌握14000支。抗战胜利后解散。
三、五县联防队
民国30年，经国民党军第十五集团军何柱国委任，组建临泉、沈丘、项城、汝南、新蔡五县联防队，分3个大队，500人。总部先设鱼同城，后迁驻姜寨集，民国35年解散。
四、联防队
民国36年3月，鱼同城集西南刘庄刘顺清于县西部成立1000余人的联防队。次年2月在刘倒楼被解放军击溃。
五、皖北游击总队
民国36年4月，艾亭保保长谢杰虎于县南部集结2000余众，成立皖北游击总队。10月在谢平楼被解放军击溃。
六、临泉游击大队
民国36年4月，韦寨集以韦希贤为首集结1000余众，成立所谓之临泉游击大队。11月在郭寨被解放军歼灭。
七、皖北人民自卫总队
民国36年5月，陈集乡陶庄李金声于县南部纠合土顽2000人，成立所谓之“皖北人民自卫总队”，窜扰洪河沿岸。次年秋在陈集被豫皖苏军区第四军分区警卫营和阜阳、临泉、新蔡县大队联合围剿歼灭。