清光绪二十七年(1901年)，天主教法籍传教士聂思敏，经太和来阜阳传教，行至泉河北岸，被人民群众阻回。光绪二十八年，法籍驻亳县传教士南从周取得知府联福的支持，强行在小隅首南(今阜阳地区医院)兴建教堂，公开传教。光绪三十一年，教堂设女学院，上海圣母院派来两名修女主持女学院事务。光绪三十二年，教堂开办供给食宿的“经言班”、“保守学”，以宣传教义。芜湖教区主教来阜阳坚振(亦称“坚信礼”、“坚振礼”。入教者在接受洗礼后，再接受主教按手礼和敷油礼，以坚定信仰。是天主教“圣事”的一种)，但教徒信念很难巩固。继之，天主堂从幼儿培养信念，办起供给食宿的崇德小学、读经小学，并在学生中建立圣体军及圣母军组织。民国24年(1935年)，改崇德小学、读经小学为达义小学，民国31年改为三民小学。
抗日战争期间，意籍传教士升起意大利国旗，为日机轰炸指示目标。第二次世界大战爆发后，意籍传教士被集中在霍丘管制。民国34年日本投降，意籍传教士回阜阳天主堂，继续主持教堂事务。
民国36年，阜阳天主堂接受战后救济总署的委托，与阜阳县社会科联合成立阜阳难童教养委员会，运来一批霉变面粉，办难童教养站，乡、保长大发其财。
阜阳县天主堂号称教徒1000人时，晋升为天主教蚌埠教区阜阳总分堂，辖太和、颍上、阚町、涡阳、蒙城、临泉、霍丘7个分堂及常营、李集两个公所。担任阜阳总分堂神甫的有倪兰谭南(法籍)、劳民望(意籍)、应国屏(意籍)、蒋福林(意籍)、索培伦(意籍)、麻阿斋(意籍)、杨绍南(中国籍)、郑立仁(中国籍)、张士恩(中国籍)、万达(中国籍)、霍牧生(中国籍)等人。
1952年，索培伦等外籍神甫回国前，将修女陆文辉埋伏下来，进行反革命活动。陆文辉的反革命行为败露后，天主教暂停活动。
1962年，中共阜阳县委统战部帮助天主教徒在城南建天主教堂。1975年，天主教堂划属阜阳市。