元至治三年(1323年)，划出原怀宁县的清朝、玉照2乡，另置潜山县。不久，因战乱被废。
明洪武元年(1368年)，复于旧地置潜山县迄今。首任潜山知县张仁，设县治于原怀宁城旧址，即今日的潜山县城。
元时改府为路。潜山县最初建置时，隶属于河南江北行省安庆路总管府。
明太祖辛丑年(1361年)，改安庆路为宁江府。壬寅年(1362年)，又恢复安庆府，直隶于南京。
清沿用安庆府旧称。顺治二年（1645年)，划属江南省，十八年(1661年)，置江南左布政使司以辖之。康熙六年(1667年)，改江南左布政使司为安徽布政使司，正式设置安徽省。尔后，县的全称则为安徽省安庆府潜山县。
中华民国初年，安庆府被废，潜山县直属安徽省。民国3年(1914年)，设安庆道以辖之。民国17年，废安庆道，潜山县又一度直属于安徽省。自民国21年直至县境解放之时，潜山县先后受辖于安徽省第一行政区或安庆专区(抗日战争胜利后，曾改第一行政区为安庆专区)。1949年4月至建国后的1952年4月，称皖北行署安庆专区潜山县；尔后1971年3月，改称安徽省安庆专区潜山县；又后，至1979年底，改安庆专区为安庆地区；再后，又改安庆地区为安庆行署。潜山县相沿隶属之，至今未变。