西周初年，康王姬钊封功臣陈满后裔(妫姓)于此建胡国。
春秋，鲁定公十五年(公元前495年)，楚灭胡，地属楚。
战国，地属楚。
秦始皇二十六年(公元前221年)，建汝阴县，隶属陈郡。
西汉，称汝阴县，改属汝南郡。
王莽建新朝，改汝阴县为汝坟县。
东汉，复改汝坟县为汝阴县，隶属汝南郡。
三国，称汝阴县，地属魏，初期隶属汝南郡，中期改属汝阴郡，后期隶属汝南郡。
西晋，称汝阴县，隶属汝阴郡。
东晋，称汝阴县，先后隶属东晋、前赵、后赵、前燕、前秦。
南北朝，称汝阴县，先后隶属宋、北魏、梁、北齐、北周。在梁与北魏对抗时，梁于汝阴县境置胡城县，北魏于汝阴县城设颍州治。
隋朝，称汝阴县，改颍州为汝阴郡，县东境增设清丘县。
唐朝，称汝阴县，隶属信州，武德六年(623年)，改信州为颍州，汝阴县隶属颍州。贞观元年(627年)，并颍阳县(今太和县)、清丘县入汝阴县。天宝元年(742年)，改颍州为汝阴郡，汝阴县隶属汝阴郡。乾元元年(758年)，再改汝阴郡为颍州，汝阴县隶属颍州。元和十五年(820年)，颍州划归有司。长庆二年(822年)，汝阴县隶滑郑节度。
五代十国，称汝阴县，隶属颍州，先后为梁、唐、晋、汉、周的领地。
北宋，称汝阴县，隶属颍州。开宝六年(973年)，划县境北部王家市(今利辛县王市集)、斤沟、百尺镇、税子步(以上均在今太和县境)、界沟(今界首)5镇置万寿县。政和六年(1116年)，升颍州为顺昌府，汝阴县隶属顺昌府。
南宋，称汝阴县，隶属顺昌府，后改属南京路。
金大定元年(1161年)，称汝阴县，改顺昌府为颍州，汝阴县隶属颍州。
元初，称汝阴县，隶属颍州。至元二年(1265年)，撤汝阴县，县地直属于颍州。至顺元年(1330年)划颍州南部(今地理城)设颍水县。至顺十一年(1351年)，撤颍水县入颍州。
明朝，称颍州，隶属凤阳府，军事上设颍川卫(后改称颍州卫)，隶属汝宁府。
清雍正二年(1724年)，颍州升为直隶州。雍正十三年(1735年)，升颍州为颍州府，原州地置阜阳县，隶属颍州府。
民国元年(1912年)废州、府，阜阳县直隶安徽省。民国3年，阜阳县改属淮泗道。民国15年，废道尹，阜阳县直隶安徽省。民国21年，阜阳县隶属安徽省第七区行政督察专员公署。民国29年，改第七区行政督察专员公署为第三区行政督察专员公署，阜阳县隶属第三区行政督察专员公署。
民国17年(1928年)，中共皖北特委发动“四·九”起义，在王官集建立皖北苏维埃政府，遭国民党当局围剿后解体。
民国36年(1947年)，中国人民解放军开辟新区，先后在县境边缘与邻县边缘合建阜北县、阜南县、颍阜县、泉阳县、阚町县，城及郊区建阜阳市。1949年3月，阜南县改建阜南办事处，除新集至六十里铺划入颍上县外，余按原县境恢复阜阳县，隶属皖北人民行政公署。同年4月，中国人民解放军豫皖苏边区第四、六军分区合并为阜阳专员公署，阜阳县隶属阜阳专员公署。1971年，阜阳县隶属阜阳地区革命委员会。1979年改阜阳地区革命委员会为阜阳行政专员公署。阜阳县隶属阜阳行政专员公署。