秦始皇统一中国后，废除分封制，实行郡县制。初设36郡，后增至46郡。今安庆地区江北地分属九江、衡山2郡；江南地分属九江郡和彰郡。
汉承秦制，仍为郡、县两级。汉武帝为加强地方治理，创建十三刺史部，设州级监察区，为中央政府的派出机构。东汉末，州的权力加大，成为郡以上一级地方行政区划，构成州、郡、县三级管理体制。高祖时，改九江郡为淮南王国，其领域包括今安庆地区。高后四年（前184年），在今宿松境内设松兹侯国；文帝十六年（前164年），分淮南王国为淮南、衡山、庐江3国；景帝四年（前153年），迁江南的庐江国王到江北为衡山国王，直到武帝元狩元年（前122年），因衡山王反，乃废国置郡。江北设有庐江郡和衡山郡，今安庆地区江北地属庐江郡，郡治舒县（今湮没），领皖县、枞阳、湖陵邑（今太湖县境），隶于扬州。江南地先后设置石城（今贵池县灌口乡）、彭泽、鄱阳（含今东至县）3县，分属扬州丹阳郡和豫章郡。东汉仍沿前制，但松兹、枞阳和湖陵邑已废，其地分属舒县、皖县、龙舒、六安。江南地领属未变。东汉初平末年（193年），庐江太守陆康为远避袁术势力，将庐江郡治迁至皖县，为今安庆地区设郡之始。三国时，改松兹为松滋县，属庐江郡。
西晋年间，庐江郡治又从皖迁舒，皖县仍属庐江郡。江南石城县，改属宣城郡。东晋义熙年间（405～418年），在今安庆地区江北地置晋熙郡。于皖县旧址设怀宁县，又分原皖县地置新冶县（今望江）。另按“侨寄之法”，在江北置南楼烦和阴安2侨县，同属豫州晋熙郡。
南北朝时期，政区更迭频繁。南朝宋元嘉二十五年（448年），析旧皖县地置太湖左县；废舒县置吕亭左县，同属豫州晋熙郡。此时，松滋县则改属寻阳郡。南朝齐晋熙郡属豫州，领怀宁、新冶、太湖左县及阴安、南楼烦2侨县，吕亭左县改属庐江郡。南朝梁时期，在怀宁县置晋州，辖晋熙郡和枞阳郡。枞阳郡领枞阳县，吕亭左县并入。江南地，新设南陵郡于石城，属南豫州。另在今九江市设江州，领10郡，其中高塘郡高塘县位于江北松滋故地。大同年间，侨立南太原郡于今东至县境，领和城、晋阳、天水3个侨县和鄱阳县。进入北齐，改梁时的晋州为江州，与江南的江州并立。南朝陈太建五年（573年）复改江州为晋州。晋州治怀宁，领高塘、晋熙、枞阳3郡。后又设大雷郡于新冶。改江南南陵郡为北江州，州治石城。北周强盛时，曾攻下南陈江北各州郡，晋州归周，治怀宁，领4郡5县。