伊斯兰教于明朝洪武八年（1375年）左右传入蚌埠，由山西省迁蚌回民在东郊马村沟定居地建有清真寺。津浦铁路通车后，来蚌定居回民增多，民国3年（1914年），又在太平街建立清真寺，教长（阿訇）为李复初。建国前，伊斯兰教宗教活动主要在节日举行大型聚礼，平时每日晨、晌、晡、昏、宵5次礼拜，各清真寺参加的人数不多，只是在每星期五下午主麻拜，各寺参加人数有10～60人不等。全市各寺人数（包括女性）总计约400多人。但开埠后，各清真寺不断遭到来蚌驻军的骚扰，阻碍了宗教活动的正常进行。
解放后，伊斯兰教正常的宗教活动受到党和人民政府的保护。自解放之日起，清真寺不再驻兵，根绝了旧社会军队扰乱、阻碍伊斯兰宗教活动的情况。蚌埠的穆斯林成员大多是体力劳动者和小商贩，建国后他们对新生事物接受较快，积极开展了爱国爱教活动。1951年8月31日，全市各清真寺欢度“古尔邦”节时，改变过去的狭隘民族观点，邀请了汉族副市长万立誉入座油香席。1953年农历十月五日，郊区马村沟清真寺举行女圣会，全市各方面代表应邀参加。此后，市党政领导人在伊斯兰教的各大节日里，均应邀参加并予祝贺。党和政府尊重伊斯兰教教徒的民主权利，1951年1月，李少初和李越凡阿訇均被选为出席皖北各界人民代表大会代表和协商委员会委员。
1957年，在伊斯兰教进行宗教民主改革时，将全市各清真寺合并到天桥清真寺一处，定名为蚌埠清真寺。各方阿訇、穆斯林均到该寺进行宗教活动。同时，提倡民族与伊斯兰教有所区分。1958年“大跃进”中，有的清真寺房屋被炼焦厂和毛毯厂等占用，宗教活动场所减少。“文化大革命”中，清真寺全被占用，宗教活动完全停顿。
党的十一届三中全会后，民族宗教政策得以恢复落实，所有被占用的清真寺及寺产相继归还。天桥清真寺于1983年修复竣工，比前更为壮观。1982年9月，伊斯兰教代表李少初赴北京参加中国赴沙特阿拉伯朝觐团，前往圣地麦加朝觐。此期，原在1957年被错划为“右派”的阿訇和穆斯林得到平反。各清真寺均恢复正常宗教活动，每日礼拜、周五聚礼及各大节日的聚礼庆祝活动，一如既往。1983年，由国务院宗教局拨款5万元修复了太平街清真寺。同年3月，市伊斯兰教协会成立，协助党和政府贯彻落实了民族宗教政策。9月18日，全市穆斯林举行了盛大的欢度“古尔邦”节的仪式。
一、伊斯兰教组织
抗日战争前，蚌埠伊斯兰教没有独立的宗教团体。民国32年（1943年），开始在天桥清真寺成立蚌埠回教协会，入会回族群众近千人，会上选出理、监事共30多人。杨慕唐任理事长，李长芬任副理事长，田子铮任监事长，无办事机构。民国35年，成立过中国回教总会安徽分会蚌埠支会，负责人为李凌霄。民国37年6月，位于阜阳的安徽分会迁来蚌埠，分会理事长为哈富贵。但分会和支会都不曾有过什么活动。
1983年3月底，蚌埠伊斯兰教协会成立，到会穆斯林代表69人，选出常务委员会成员及主任、副主任，安徽省伊斯兰教协会主任李少初兼本地协会主任，张文庆、洪宝明为副主任。协会在天桥清真寺内成立了宣教组、秘书组等办事机构。同年，各寺也成立有民主管理委员会，负责管理寺产和教务。
二、清真寺
马村沟清真寺始建于明朝，是蚌埠最早建立的清真寺。至清光绪三十二年（1906年），由李可明经手，将原有9间草房教堂、3间大殿及大门楼改建为瓦房。该寺在光绪年间的掌教阿訇为李学谦，曾到过山西、河南等地学习古兰经，颇有造诣，与当时寿县的梅天贵阿訇在皖北同享盛名。民国3年（1914年），李学谦长子李复初调蚌埠太平街清真寺掌阿訇位，马村沟清真寺由其弟李立三继任阿訇。建国后1959年，赵长贵担任阿訇，赵去逝后由李宽容担任阿訇。该寺经费来源在建国前主要靠出租土地，建国后由生产大队支付。
太平街清真寺民国3年，河南周口籍旅居蚌埠的富商丁治甫，为方便回族穆斯林过宗教生活，倡议并资助建该寺，有大殿6间，讲堂3间。初聘请李复初阿訇任教长，主持教务。民国30年，李复初去世后，至民国37年，由李赞臣阿訇主持（李曾到沙特阿拉伯麦加朝觐），再后为马孝贵。建国后，陆续由李越凡、周福祥、马明道、洪宝明、方素卿等主持教务。1957年冬，该寺归并到天桥清真寺。几十年间，该寺固定收入很少。50年代初期，回族穆斯林李怀周将其曾开过隆兴牛行的28间草房（包括宅基地）捐赠给该寺，但房地产收入仍很微薄，大部分经费要靠捐款维持。1983年，由国务院宗教局拨款5万元翻建大殿183平方米，增建望月楼，总计修复面积348平方米。
旅蚌清真寺于民国12年兴建于天桥南的华丰里。在此之前，为筹集建寺资金，皖北一些县旅居蚌埠的穆斯林穆子卿、杨映廷、买子英、朱寿亭、李幼三、朱少臣、黄绍武等人，曾分别到上海、南京、寿县、阜阳、亳县、奉天等地募化；马新斋、尚梦连、朱广勋等人亦建宰牛场，每宰一头牛收一枚银元用于资助建寺。因资金系陆续募捐，寺院历经5年方建成。寺建成后，旅居蚌埠的穆斯林大多在该寺进行宗教活动。寺中教长先为阿訇朱寿亭，1953年后分别为李亚斋、韩志杰。1957年，该寺合并到天桥清真寺，原寺院于翌年交由跃进针织厂使用。天桥清真寺于民国21年兴建于天桥下南侧。寺院先由河北籍穆斯林韩福林、杨官亭等人募捐集资，购买平房30间改建。寺中掌位阿訇为白光甫，后改为阿訇白三。民国25年，刘明亮代理本寺阿訇。至蚌埠解放前，寺中掌位分别为阿訇回国珍、张二爷、刘七、王胡子、刘国祥。该寺事务主要由河北籍穆斯林管理。民国31年，经由杨慕唐、李捷升、田子铮等人募化和赞助资金，该寺扩建为一座较为壮观的清真寺。寺有大殿9间，讲堂5间，寺西侧有一座三层望月楼。因参加宗教活动的多为天津籍的穆斯林，又被称为“天津寺”。建国后1953年起，张文庆任教长。1957年，其他各寺合并于该寺，改名为蚌埠清真寺，成立民主管理委员会，主任为李少初，副主任为焦绍忱、杨运亭，总务主任为金文中。该寺经费来源无固定收入，多靠穆斯林捐助。1956年，杨慕唐之妻按照其丈夫生前遗嘱，将自己所拥有的一幢楼房共15间捐出，通过收取租金供寺中教务支出。1979年，恢复天桥清真寺原名，至1981年，该寺望月楼又重修一新。
黄庄清真寺于民国31年兴建于黄庄。该寺所在地为回族聚居地之一，以鲁西南各县和河南等地迁来的回族较多。筹建者以当时的盐业搬运工人为主，代表人物有马玉德、马时新、沙恒珍等人。该寺于民国32年建成，有大殿1座，讲堂3间，并曾设有一个女穆斯林聚礼所。建寺初期由何凤岗阿訇任教长，民国34年冬由其孙何国安继任，民国38年秋改请李叔度任阿訇。解放前，该寺经费主要靠募化捐助。建国后1951年、1954年，分别由阿訇杨宗亮、沙孝言掌位。1957年，黄庄清真寺合并到天桥清真寺。1979年，该寺恢复，1980年由沙玉祥阿訇掌位。
清真女寺寺有8间平房，于民国33年建于太平街清真寺对面建安里。筹建、集资人为盖登科、侯金贵、田子铮、杨慕唐等，同时有女穆斯林多人到山东、河南等地募化基金。女寺建成后，教务由阿訇王师母掌位主持。每周前来聚礼的女穆斯林约50多人。1956年，因蚌埠回民小学扩建校舍，清真女寺让出，迁到胜利路新辟的寺舍，女阿訇为马崇真。1957年，该寺归并到天桥清真寺。1983年，在南山路太平街清真寺旁边恢复清真女寺。
三、伊斯兰教福利事业
解放前，各清真寺在历年开斋节时都从穆斯林所捐钱款中拿出一部分，赈给聚集在寺门口等候周济的穷苦回民，此做法形成常规。
民国11年（1922年），太平街清真寺由李静亭、李鸿臣等穆斯林资助，在寺中办过回民学堂，教师以赵儒卿为主。民国32年，马村沟清真寺建立一所私立圣德小学，办学经费由寺中公费负担，校长为钱正华。民国35年夏，由盖登科等穆斯林资助，在太平街清真寺办过回民义务小学，课程中设有“古兰经”的内容。
建国后，伊斯兰教组织主要兴办为回民服务的公益事业。1953年，天桥清真寺内办过回民诊所，为民办公助性质，主任金文中。该诊所后转为市民政系统医院。1981年7月，在市民族宗教事务处的支持下，曾创办回民糕点厂，主要生产供回民食用的月饼、糕点。对该厂，安徽省民族事务委员会先后拨款1.9万元予以补助。