团练清咸丰六年(1856年),南岳庙刘华山、朱家岗朱秀才、金圩子金先生等与寿州的苗沛霖团练联络,先后在柳树营、戴湖、沈圩、金圩、洼张、徐桥、大葛家等圩寨组织本地团练。咸丰九年(1859年)蚌埠有团练27个。是年，因团练协助清廷,部分圩寨被捻军攻克,刘华山等少数练董被斩首。随后多年，因苗沛霖反复无常,蚌埠团练有时助清,有时助捻。清同治二年(1863年)，苗沛霖叛清,蚌埠团练曾协助捻军与清军作战多次。
红枪会清末,在蚌埠淮河北岸各村庄,民众自发成立该组织。参加者多为农家青壮年,忙时务农,闲时持红缨枪习武。民国27年(1938年)2月,红枪会曾与进犯的日军交战,名声大振。日军侵占蚌埠后,该武装发展到约800人,公推开明绅士项允诚为队长,朱省三为副队长,于淮河北岸开展抗日斗争。民国28年,该武装在怀远县的龙亢被国民党军队收编,命名为民众抗日自卫军,隶属国民党军队第十四游击队指挥。后因队员思乡恋土,纷纷离队,该武装逐渐消失。
武工队民国33年10月，在中共蚌埠工作委员会(淮河办事处)成立后组建该队,有10多名队员,每人配备驳壳枪。民国34年5月,人员增加到30多人。根据抗日战争斗争的需要,上级还抽调一名日本反战同盟战士和一名朝鲜籍战士同武工队一起活动。该武工队在蚌埠周围经常对敌开展政治攻势,破坏铁路,惩治汉奸头目。抗战胜利后民国34年9月,中共淮北区党委将所属武工队与该武工队合并,属蚌埠工委领导,队长吴华,政委先是胡志坚,后为孙善佑,党支部书记马春华,共有队员五六十人,分短枪队、长枪队及7人组成的机枪班。民国35年11月,该队转移到运河以东地区。
民众自卫队于民国36年由国民党市政府军事科所组织。参加者为十八岁至二十五岁的壮丁。全市编为一个总队,每区编为一个大队,每保编一个中队,每个中队下分三个分队,每分队有队员16人。民众自卫队按照国民党军队的需要,执行向导、救护、供应、运输、工程等任务。至民国37年底,该组织解散。