1981年9月，安徽省政府批准潜山下列5个单位为省级重点文物保护单位。
一、薛家岗文化遗址
遗址在县南河镇乡境内，距县城7.5公里。1977年底，在县文物普查中发现。
1979年3月和9月，1980年4月、1981年10月，省文物工作队会同本省部分地、市、县文物工作者，对遗址先后进行过4次考古发掘。1982年9月，广州中山大学人类学系(79届)考古专业师生，又来此进行过考古发掘实习。
5次发掘，共揭露遗址面积2000多平方米。揭开耕土层后，其下可分“唐宋文化”层，“商代文化”层以及“新石器时代1—4期文化”层。由浅入深，出土文物，有石器、玉器、陶器三大类，共2000余件。
生产工具以石器为主，有刀、铲、斧、、凿、镞、锉，外加陶制纺轮、网坠等。其中石器大多经过通体精磨，刃部锋利，体形扁薄。刀铲多对面钻孔。石刀孔成奇数，分别为1、3、5、7、9、11、13孔，成套出土。13孔石刀，为国内首次发现，极其珍贵。此刀长51.6厘米，宽9—12厘米，孔眼对称，排列有序。
生活用具以陶器为主，有鼎、豆、鬹、盆、碗、釜、杯、罐、壶、盂、钵、簋、甗、尊等。从l期文化手制，到2—3期文化以轮制为主的手轮兼制者都有。分泥质、夹砂两种，多素面磨光。部分器物有弦纹、刻划纹、针刺纹和镂孔，附加堆纹、凸弦纹和朱赤彩绘，胎薄而匀，造型多样。有陶球近百只，最小的直径不到2厘米，有的镂孔对称，刺刻着几何纹饰，极其精美，球内有小陶丸，摇之有声。
玉器多为装饰品，有环、璜、管、块、扣、琮等，制作精细。管、扣之孔，小到仅可穿线。
遗址的“新石器时代2、3期文化”，代表了“薛家岗文化”的基本特征。“2期”的扁凹足、扁柱足罐形鼎，竹节盆形豆，刻划纹和凸弦纹平底壶凿形足鬹，“3期”的折腹鸭嘴形罐形鼎，扁凹足盆形鼎，高柄盆形豆、钵形豆，折腹圈足壶，以及敞口平沿盆等，是此遗址的代表性器物。特别是“3期文化”中的大型多孔石刀，和在孔眼周围绘有红色花果形图案的刀、铲，属我国新石器时期的罕见之物。经国家文物局文物保护科学技术研究所碳十四测定：“薛家岗遗址三期文化距今五千一百七十年(正负不超过一百二十五年)”。这些器物，有别于国内其它诸文化的独特风格，自成面貌，独树一帜，受到国内外考古界的重视。
发掘报告已在《考古学报》发表；考古界命其名为“薛家岗文化”。新华社、中国新闻社等曾多次向国内外播发薛家岗遗址的发掘消息和研究文章，省考古学会也曾多次举办“薛家岗文化”专题学术讨论会。
遗址是椭圆形台地，高出周围农田3—7公尺，总面积为6万多平方米，台地三面濒临洋荡圩(过去是湖)，一面是坡度不大的山岗，其自然条件非常适宜原始人栖息。出土器物证明，这里曾定居过以农业为主的氏族，手工业已经分离出来，而且已相当发达。遗址的发现和发掘，为研究新石器时代晚期人类在长江中下游地区生活和生产活动，以及与黄河流域诸文化的关系，提供了十分珍贵的文物资料。
二、太平塔
顺治《潜山县志》载：“太平塔在县北三里，晋咸和间(326年一334年)创。”
晋塔毁于何时，旧《县志》未见详载。今从古塔上嵌印的文字看，现存的宝塔是北宋崇宁三年(1104年)四月重建。已经毁坏的塔刹，仅存基座覆钵。覆钵直径两米多，如锅反扣在塔身顶部，上有铭文676个字：“大宋隆兴改元，岁次癸未(1163年)，十月癸亥，二十八日己酉，以募到众信财物，兼用常住金谷，重新铸造童师菩萨塔上相轮一座，天王日月铃锋及周围镮索……，右朝散大夫提辖行在榷O货务陈良弼、恭人程氏……谨施俸资贰百贯文……。”可见相轮又是另一次重修之物。
塔身高35米，外形为7层8方，虚实相对之门，每层有四塔内中空，分架木楼11层；塔壁内设台阶上下。塔身内外壁有佛龛，镂有千余尊神态各异的佛像。
明崇祯十四年(1641年)底，张献忠义军过境，于太平寺内捕获潜山知事、典史，火烧太平寺，塔内板楼同时被毁。现国家文物事业管理部门已拨专款在维修中。
三、觉寂塔
旧《潜山县志》：“隋炀帝大业二年丙寅(606年)十月十五日，三祖璨禅师于山谷大树下合掌立化，葬山谷寺后。……天宝乙酉(745年)，舒州别驾李常，因荷泽禅师言，同僚佐启师圹，取真仪闱维之，得五色舍利三百粒，以百粒出己俸建塔，南窦塑师像。唐代宗大历七年(772年)，御史张延赏为请于朝，得册谥，号塔为“觉寂”，以大德僧七人洒扫供养。大比丘众立碑塔东南侧，刺史独孤及撰铭。唐武宗会昌间(841—846年)灭佛法，塔与碑皆毁。唐宣宗大中初(约848年前后)塔复置，而碑未立。懿宗咸通三年(861年)，张延赏曾孙彦远任舒州刺史时，复置独孤及铭碑，并自刻记事于碑阴：“大历初，彦远曾祖……在淮南，奏三祖大师谥号与塔额，剌史独孤君为之碑，张从伸书字。……大中初，塔复置而碑未立。咸通二年八月，遂与沙门重议刊建……书于碑之阴”。
宋乾道八年(1172年)，曾对该塔作过修缮。今日塔顶覆钵犹见“大宋乾道八年四月十九日舒州怀宁县玉照乡太平里陶定保女弟子黄氏三娘……”舍钱铸造相轮的铭文计170字。
明嘉靖时，僧了莹见塔将敝坏，捐资募款，“次第修葺”，费时8年，竣工于嘉靖三十九年(1560年)。现有名为丁嘉靖撰写的记事碑刻立于寺院门旁。
觉寂塔通称三祖寺塔。塔身呈八方棱角体，高30米，外分5级，中空为7楼，上下必环绕外廊。每层楼有虚门、实门各二，虚实相间，易于迷人。各层外壁都镂有小佛龛，每方4—8个不等，均有佛像居中，有9米高的塔刹，构件均完整无损，上部为葫芦形铁圈架于宝瓶之上，中部有五节相轮，下部覆钵之上又一宝瓶立于相轮之下。各部件由斗粗木柱串成一体，8条铁练悬挂着51只铃铎，系刹于塔壁。
四、山谷流泉摩崖石刻
“山谷流泉摩崖石刻”即三祖寺附近山谷流泉、石牛古洞等处的石刻。其中，石牛古洞石刻居多。此间，300来米的河谷，东侧崖壁和河床巨石，共镌唐贞元以来，至民国晚年之间的各种石刻近300方。其中唐吕渭、李翱、李德修，宋王安石、黄庭坚、李师中、李柬之、留正、赵希衮、张同之，明胡缵宗、李元阳等题刻，都是珍贵之作；尤其是唐李翱、宋王安石、黄庭坚真书手迹，已属罕有之品。传说，北宋大画家李公麟曾在此为黄庭坚作坐石牛图刻之崖壁，惜已被人窃去。石刻诗、文、题、记俱全，行、楷、隶、篆、草都有。此地既是考证1200多年间有关历史的天然档案馆，又是直接瞻仰有关古代名家文采、书法的天然博物馆。
五、西关寨刘源纪事石刻
石刻在天柱山景区西关寨口步道旁崖壁上。幅面高1.92米，宽2.19米，自右向左竖写，共68字，分9行楷书阴刻，文曰：“大宋咸淳元年(1265年)，奉本朝阃命措厝山寨，保聚生民十万余众，
历十余年，北朝军马，累次攻打，保守无虞，民户春耕，冬则入寨。寨长同安郡土豪刘源叔清鼎建。统制宁宗达崇道。”(标点为撰稿人加)。此刻离天柱山主峰，不足两公里。