广善寺位于县南五里八峰山下，始建于东晋，是本县最早创建的名寺之一。至元代，一度衰落，明又复兴，是时县内共有僧尼100余人，庙宇100多座。清《太平府志》载，江南多寺庙，繁昌虽小，也有六大寺、五小寺、六大院、十小院、一百一十九庵，五十庙。清末，计有僧尼400余人，庙宇200多座，并设有僧官。民国初期，为了维持佛教地位，各地以城镇寺庵为中心，相继成立佛教组织。民国2年，县成立“中国佛教总会安徽分会繁昌支会”，会址设在城东绿萝庵，会长僧修缘、僧晋航。民国17年改为“中国佛教协会安徽分会繁昌支会”，由僧修缘继任会长。民国23年有僧135人，尼23人，信徒539人。抗日战争爆发后，佛教协会停止活动，抗日战争胜利，佛教协会恢复，会址设在城东(今繁昌一中后院)，由无梁寺僧释心旺任会长，释省悟、释维真任副会长，居士邢瑶圃、何文铨、储幻生为常务理事，张茂绪、汪化龙等为委员。发证会员有僧55人，尼丘5人，沙弥4人，寺庙60余座。
1951年，县民政科对僧尼进行登记，全县共有僧36人，尼姑16人，斋公84人(未削发受戒)。1956年，县委统战部召开僧尼会议，僧尼仅有11人，由于老死、还俗等原因，职业佛教徒大大减少。
1978年后，尼姑妙明、妙惠2人，居城东北隅大乘庵，1985年募化资金，修复庙宇，重塑佛象两尊，延续香火。此外，老僧法来住清凉寺看守庙堂。1981年3月至1986年5月，环城乡闸口村村民刘君娣，新港镇东圩村村民潘新秀、潘新兰，峨山乡柏树村村民潘礼秀，浮山乡大桥村村民强光霞等，先后到九华山和上海龙华寺、河南白马寺，出家为尼。