淮南地区道教传入最早。西汉景帝年间，茅盈、茅固、茅衷三兄弟相继来到寿州三峰山（今凤台茅仙洞）修炼，三国时，道人胡道兴师徒在此修行，并排出道士辈份，沿用至今。但市境有史可稽的道教活动始自清末。兴隆庵（田家庵新店集）从清宣统三年（1911年）至民国27年（1938年）为道教住地。据民国8年重修兴隆庵碑文记载，兴隆庵于清咸丰年间毁于兵燹，民国初年由炼真道士募资重修。炼真道士羽化后，其徒鲁教奎为住持；鲁死后，其徒尹道士为住持。民国27年淮南沦陷时，尹道士亡外未归，庵院荒废。从此淮南地区道教绝迹，兴隆庵后来成为佛教住所。
佛教传入淮南为东晋末年（419年），流传至今，在群众中有一定影响。新中国建立前庙宇甚多，从明代就有地藏庵（即大庙，现市第一人民医院址），另外老龙眼、廖家湾等原来都有观音庵。现在庙宇早已湮没，目前尚存的仅有上窑洞山庙和田家庵老佛堂。中共十一届三中全会以后，党的宗教政策得到全面落实，上窑洞山庙，田家庵老佛堂膏药店和佛堂均得到全面修复，教徒开展了正常的宗教活动。全市有僧尼7人，其中2人分别担任市、区政协委员。每逢佛教节日，数百名佛教徒聚集洞山庙和佛堂进行宗教活动。1988年建立了市佛教协会。
伊斯兰教在明万历四十七年（1619年）传入淮南。穆斯林（伊斯兰教信徒）以大分散、小聚居的形式分布在全市各地，主要聚居点是谢家集区李郢孜，八公山区闪家冲，潘集区古沟、田集等乡，田家庵区散居较多。现全市有回族群众3万人，清真寺13座，有阿訇13人。穆斯林群众中有一小部分人过宗教生活，而遵照伊斯兰教习俗的回民群众较为普遍。
基督教也称耶稣教，一般称为新教。新教传入淮南地区在清光绪末年（1908年）。建国前，全市有基督教活动场所30处，房屋222间，信徒约3000余人，有美籍牧师3人，中国籍牧师2人，传教士2人，长老8人。主要教派有中华基督教长老会，基督教远东宣教会。建国后，基督教会于1952年4月宣布与美国割断关系，积极响应吴耀宗先生倡议发起的“三自”革新运动，要求自办“三自”爱国教会。1955年，全市基督教进行联合礼拜，成立了淮南市基督教“三自”爱国运动委员会。从此，淮南基督教走上“自治、自养、自传”的“三自”爱国道路。中共十一届三中全会以后，贯彻落实党的宗教政策，平反和纠正了宗教界人士中的冤假错案，落实了党对宗教团体的房产政策，开放、新建和翻建了基督教活动场所45处。能容纳千人以上的教堂有田家庵光华街教堂、谢家集唐山教堂、潘集袁庄教堂、八公山新庄孜教堂等。1990年，全市有牧师3人，长老11人，信徒约10万余人。1981年召开了市基督教第三次代表会议，建立了淮南市基督教“三自”爱国运动委员会和基督教教务委员会。接着各县区也先后成立了基督教“三自”爱运会和教务会。