清咸丰、同治年间，县以下地方武装有团练，负责人称练总、练董，由地方士绅或有功名的人充任。练丁则由乡里丁壮中募集。使用的武器，一般为刀、矛、梭标等，少数亦有用火枪的。团练名义上是协助州县剿匪防盗，安定地方的武装组织，实际上却是地方封建统治集团镇压农民起义的工具。据《泗虹合志》武备篇记载，自咸丰六年（1856）至同治四年（1865）的10年间，清政府14次“清剿”捻军（农民起义军），地方团练用命出战10次之多，战死练丁约700人。
民国初年，县设清乡局，掌理“剿办盗匪，巡缉奸宄”等事宜。4年（1915），改清乡局为团防局，县设总局，各乡设分局。7年，县公署为厚集兵力剿办土匪，将团防局合编为两个警备营，以7／10的兵力驻防于匪势炽盛的县东北地区，其余分驻其他要地。不久，警备营撤销，复置团防局。18年，改团防局为自卫团，全县编10个队。19年4月，改自卫团为保卫团，编10个中队。9月，缩减为6个中队，1个特务队。20年2月，改保卫团为两个警察大队，每大队辖3个分队，另有迫击炮队。21年，改警察大队为保安队，县设甲种总队，辖6个中队，584人；全县9区，各设1独立排。23年1月，区独立排裁撤，县保安队建制未变。保安队的编练调遣权力，先是统属于县，24年1月改属于第六区，同年11月又统属于省，一切行动，受省保安司令部统一指挥。这时，县的地方自卫改由新组建的壮丁巡查队掌管。26年，县保安队上调整编。同年10月，抗战军兴，县地方武装有常备大队、轮训大队、骑兵中队、特务大队、义勇壮丁大队等。
抗日战争和解放战争时期，泗县解放区的地方武装，在皖东北抗日民主政权建立之初，专署有独立团，各县有保安大队，统受专区保安司令部领导。民国30年11月7日，新四军四师以三十四团全部、九旅、十一旅各1连编入地方武装，与专区独立团、各县保安大队合并编制，成立淮北苏皖边区军区司令部，取代了原专区保安司令部。下辖两个独立团，6个独立大队，l个直属队，共3500人。以赖毅为司令员，刘子久兼政委，白浪为参谋长，刘作孚为政治部主任。其下属之独立大队，在武装组合、活动区域等方面与泗县有关的计有：
独立第一大队系原三十四团一营二连与原泗南保安大队合并组成，辖两个连，活动于泗县旧辖的管镇、铁佛寺、鲍集、双沟、上塘集、峰山等地。
独立第三大队系原泗宿保安大队与原九旅一个连合并组成，辖3个连，活动于刘圩、马厂、归仁集、金锁镇、陈家岗，川城等地。
独立第六大队原为泗五灵凤保安大队，系由该县县、区警卫连队与通过私人关系扩大来的一部武装混合组成，辖3个连，活动于泗县、五河、灵璧、凤阳之间的墩盱子集、界沟、双忠集、范集、张巷等地。
民国31年4月14日，淮北苏皖军区改为淮北军区，由新四军四师师长彭雪枫兼司令员，邓子恢任政委，张震任参谋长，吴芝圃任政治部主任。下辖3个军分区，这时的泗宿、泗灵睢两县武装划属第一军分区，泗南、泗五灵凤两县武装属第二军分区。
民国34年7月，统属关系调整，原属第二军分区领导的泗南、泗五灵凤两县武装亦划属第一军分区。同年10月，以津浦铁路线为界，淮北路东各县武装均划属华中军区第七军分区。
民国37年5月，成立江淮军区，下辖3个军分区。泗南、泗宿、泗五灵凤3县武装归属于第二军分区，泗灵睢县武装归属于第三军分区。
据现有资料反映，与泗县有关的两个边区县武装设置演变状况是：
泗灵睢县于民国31年5月，以刘圩、马厂区队为基础，建立县大队，辖两个连，大队长崔绪龙；副大队长杨子平，政委苏甫。32年2月，改为独立大队，辖3个连，大队长来显吉，副大队长杨子平，政委崔绪龙，副政委胡志坚、沈坚。10月，扩为县总队，县长苌宗商兼总队长，副总队长周子平，政委李任之，政治处主任洪渊。33年10月，县总队扩建为独立团，辖3个营，12个连，1个骑兵排，配50匹马。团长杨德隆，副团长周子平，政委石立志（县委书记兼），政治部主任洪渊。34年秋，县独立团上升为主力部队，其中第二营上升到新四军四师九旅二十五团，第三营上升为专署警卫营。35年，重建县总队，至36年一直是县长胡铁民兼总队长，许辉、张维献、杨子平先后任副总队长，政委先后由洪沛、王允昭、吴云培、周宇明、石立志兼任。之后，县总队建制一直到民国38年未变，总队长递更为曾继云，政委递更为胡铁民、陈礼宽（均系兼任），副总队长一直是杨子平（38年增配房玉殿）。
泗宿县原有1个保安大队，民国30年11月上调军区，另建县总队，辖4个连，副总队长李秉枢，参谋长朱大清，政治处主任盛志明。32年，改以夏玉华任副总队长，邱勇前任参谋长。33年，县总队扩充为独立团，团长夏玉华，政委吴植椽。34年冬，独立团上升为军分区一团，另从区队抽调力量，建立县总队，辖4个连，副总队长傅茂如。不久，又奉令上调。解放战争爆发后，于民国35年重建县总队，辖2个连，不足200人，副总队长傅茂如，政治处主任胡玉海。36年，总队长傅茂如，副总队长黄华斋，政治处主任王桂义。37年，副总队长递更为段亚非、魏存平。
县以下，各区、乡设有区队、乡队，区队一般为50～80人，乡队一般为10～30人。
建国后，泗县地方武装有：
公安连（队）和武警中队系国家公安部队和武装警察部队分驻地方，受地方领导、指挥的武装力量。负有维持社会治安，预防、制止危害社会行为的发生，看管犯人，协助公安机关追捕罪犯，执行枪决判处死刑犯人及刑场警戒等任务。其较为突出的成绩有：1949年冬至1958年夏，在县公安机关的统一部署下，参加清剿土匪10余股，歼灭、取缔反动会道门30多个，破获敌特“忠义救国军”、“中华民族‘讨逆军’”及其他反革命组织阴谋暴乱案多起。1950～1985年县人武部（兵役局）军政负责人更迭表

县人民武装部（简称人武部）1950年9月组建，担负全县民兵的组织、训练、指挥和兵役、支前等工作任务。设部长或副部长1人，为现役军人。政治委员先是中共泗县委员会书记兼任，后配专职政委，县委书记兼第一政委。1954年10月，县人武部改为兵役局。1960年1月复改为县人武部，到1985年底建制未变。
泗县人武部（兵役局）工作成绩较好，曾多次受到省军区和宿县军分区的奖励。其中，在兵役工作方面，1958年被评为安徽省军区五好单位标兵；同年12月，在南京军区第二届建军先进分子代表大会上被评为南京军区兵役工作标兵单位，并经总政治部批准，由南京军区给记了集体二等功。