早在元代，芜湖即有回族人的活动，如著名诗人萨都刺曾由池州乘舟顺流而下，去集庆路（今南京）任所，途经鲁港馆驿，立作《过芜湖和贯酸斋壁韵》，与当时著名文学家、戏曲音乐家贯云石题壁唱和。
清朝初年，芜湖回民在本市寺码头附近，建立了一座范围较小、设备简陋的清真寺，后毁于清王朝镇压太平军的战火之中。清同治三年（1864），回民前辈金隆德、马恒升、刘泽志、李成义等人筹资在芜湖北门城外北廓铺（今上二街11号、上菜市1、3、5号）内购地重建清真寺，当时规模不大，设备也较简陋，后因回民繁衍，迁入人口增多，以致于礼拜、沐浴水房及其它寺房均感紧张，于是由赵金福、韩奎久二位阿訇及一些热心民族宗教事业的教友等筹募资金于清光绪二十八年（1902）进行了扩建，使礼拜大殿、浴室、客厅、讲堂等寺房均较宽敞完备。抗日战争时，芜湖沦陷，清真寺又复遭破坏。后由先辈乡老马春霆、金家源、马秉衡、葛焕庭、马仰之、王德宽等人筹资维修，扩建水房，增设女寺，自此，芜湖穆斯林男女均可在此参加礼拜活动。