宋元两代，境内旧县镇(今女山湖镇)曾为招信县治所在地，设有武装机构。《明史·地理志》载：“泗州盱眙县西有旧县巡检司。”司内置有弓兵、武装士卒及巡检官。清雍正年间，在境内自来桥设置墩台一座，派兵5名，于自来桥另设官署营房一所。并在附近山区驯养军马。在明光集设分防外委一员，派兵10名，除拨发战饷外，每年支银10两，至清宣统年间始废。于清康熙年间在境内马家岗设分防哨官一员，派兵2名，至民国初废。
民国初年至民国廿一年(1932)嘉山设治前，境内三界、明光、管店、古沛、旧县等地均有地方武装民练、自卫武装组织。设治后，县政府组建县保安大队，下辖4个中队，后改为县常备大队。抗日战争胜利后，民国县政府内设军事科。
1940年，嘉山县抗日民主政府建立，县政府设军事科，并成立县总队武装组织及各区队、乡队。县内北部盱凤嘉抗日民主政府(办事处)设有盱凤嘉县大队(支队)后成立独立营，又改设县总队及支队等武装组织。1946年8月，国民党军队向盱嘉、盱凤嘉等地发动进攻；9月，盱嘉、盱凤嘉革命武装大部撤去苏北、山东，少数干部和地方武装撤至洪泽湖坚持斗争。
1947年至1948年，党组织派遣部分负责干部率领武工队返回盱嘉、盱凤嘉地方，开展武装斗争，恢复基层党组织和政权，复建立县总队、武工队等武装组织。
1951年，嘉山县兵役局设置，不久，改为县人民武装部。1980年至1990年，设置县人民武装委员会，县人民武装部为委员会的武装办事机构。