东晋安帝义熙年间（405—418年），于汉庐江郡的南部另设晋熙郡，分汉皖地置怀宁、新冶（即今望江县）二县，以今日潜山县城为怀宁县城。晋熙郡治亦设于此城。
刘宋武帝永初年间（420—422年），于废皖县地增置太湖左县（即今太湖县）。萧梁时代，又于废皖县地增置高塘郡（即今宿松县）。
南北朝以至隋初，晋熙郡怀宁县的政区名沿袭未变。但历来的“扬州”大区划名却渐被废弃。晋熙郡的上级政区，宋曰南豫州；梁曰豫州(或曰荆河州)，后改晋州；齐曰江州；陈又改晋州。刘宋以怀宁县城为晋熙郡治，萧梁则以此为晋州治。
隋开皇三年(583)，废除诸郡，九年(589)始立熙州，以辖怀宁及附近诸县。炀帝大业三年(607)，改熙州为同安郡，郡治仍设于原熙州之治怀宁县城，辖有怀宁、宿松、太湖、望江、同安5个县。
唐高祖武德四年(621)，改同安郡为舒州。五年(622年)，分舒州的怀宁县为皖城、安乐、皖阳、梅城4个县。当年，安乐县废。七年(624年)，皖城、皖阳、梅城3个县也都被废，仍恢复为一个怀宁县。天宝元年(742)，又改舒州为同安郡。至德二年(757)，改同安郡为盛唐郡。乾元元年(758年)，再改盛唐郡为舒州。由此，历史上形成舒州、同安郡的双称习惯。虽然州、郡几度易名，其所辖之境，仍如隋时(后来，只改同安县为桐城县名)。州、郡治所也都在怀宁县城。
五代十国时，州、县名都无改变，先为杨吴、南唐所有，再则为后周所有。
两宋时期，沿用舒州怀宁县旧制共235年。南宋庆元元年(1195年)宁宗即位，因他曾当过舒州节度使，于是将舒州升格为安庆府。州、府治所，皆在怀宁城，辖县一直是怀宁、桐城、宿松、望江、太湖。嘉定十年(1217年)，知府黄干在此怀宁县治修筑安庆府城；绍定四年(1231年)，知府赵希袞在黄干所筑原城基础上加筑，并修建城闸。端平三年(1236年)，安庆府治、怀宁县治同时自今潜山城东迁。
自隋开皇九年(589)建熙州时起，至宋端平安庆府治东迁时止，怀宁城(即今潜山城)一直为州、郡、府治达627年之久。尔后，直抵元至治二年(1322年)，86个春秋，今潜山县城，仅是其时怀宁县的西北部分。