清光绪年间(1875～1908)，伊斯兰教传入当涂，并建有扑草房清真寺一所。民国初年，这所清真寺因年久失修而倒塌。部分伊斯兰教徒和回民集资在城关东大街重建瓦房7间，内有做礼拜的大殿，由阿訇掌教。民国15年(1926)至今，先后有刘凤云、马兆发、马良义、郭修德、马成宪担任阿訇。1986年由省、市、县支持，回民赞助，在原址翻修清真寺楼房6间。落成时，马鞍山市清真寺还赠给一块“敬畏常存”的门额。1988年又迁址至马军寨东侧，新建教堂6间。