早在第一次国内革命战争时期，我县临涣集（现属濉溪县）一带，就出现了党领导下的农协会组织及农民武装纠察队（武器为一根涂有黄、绿颜色的木棒）。1926年以共产党员与共青团员为骨干，成立了临涣集农民赤卫队，以后又有农民自卫军、梭标队、暴动队、纠察队等农民武装。
1939年全县各地均建有“联庄会”，防匪及维持地方治安，1942年联庄会大多数改为民兵组织。
1943年县成立武委会，具体负责民兵工作。当时，区有民兵大队、乡有民兵中队。其主要武器为老套筒、湖北条、土枪、土炮、手榴弹、大刀、长矛、梢子棍等；民兵的主要任务是减租减息、反扫荡、防匪、保护生产、维持地方治安、站岗、放哨、支前。
1949年中华人民共和国成立后，民兵迅速发展，县设民兵总队，区设民兵大队，乡设民兵中队，村设民兵分队。1950年区、乡、村又分别建立民兵队部。
1953年统一民兵编制，普遍进行登记。1958年掀起全民装武、全民皆兵的群众运动，除男民兵外，并有女民兵。县成立民兵师，公社有民兵团，生产大队有民兵营，并将预备役与民兵组织统一合并编组，分基干民兵与普通民兵两种。
1959年县成立民兵工作领导小组，1961年组织广大民兵学习《民兵工作条例》，进一步加强民兵建设。
1962年县成立人民武装委员会，分民兵为武装基干民兵、基干民兵、普通民兵三种。
1969年组建县武装民兵独立团，结合进行民兵组织整顿。
1973年根据当时的中央（1973）16号与（1974）104号文件，要求各地成立民兵指挥部。粉碎“四人帮”后，于1977年撤销民兵指挥部。
1979年恢复县人民武装委员会。1981年对全县民兵组织进行调整，以民兵制与预备役制结合，平时民兵工作与战时民兵动员工作相结合，组建普通民兵与基干民兵分别编组的县基干民兵团。撤销原民兵师、民兵团建制。