清代末期，全县划为40里、108保。
民国初年，全县划为19乡(镇)。北伐之后，改19乡为10区，区下设大联保和保、甲。民国24年(1935年)，划西部建临泉县后，全县划为五区，即阜阳城为一区(县政府直辖)，东部为二区(后改为洄溜区)，南部为三区(后改为王化集区)，西部为四区(后改为大田集区)，北部为五区(后改为王老人集区)。总共102乡，907保。
1949年4月全县划宫集、王市、王老人集、插花、马店、口孜、洄溜、姜堂、马寨、程集、柴集、许堂、苗集、赵集、公桥、于集、茨河、城关18个区，256个乡(镇)。同年6月，划润河以南之于集、苗集、赵集、公桥4个区，计29个乡入阜南县，全县尚有14个区、227个乡(镇)。
1950年4月，增设苏集、胡集两个区。5月，增设长春、朱寨、王店、闻集、正午5个区。8月，将宫集区及长春区之赵寺、王营、草李、长春4个乡划入太和县。全县有19个区、306个乡(镇)。
1952年，划柴集、许堂、朱寨3个区、42个乡入阜南县后，经过调整，改划所余16个区、264个乡(镇)为23个区、289个乡(镇)。1956年，改23个区、289个乡(镇)为15个区、91个乡、11个镇、1个港。
1957年2月，改15个区为8个区、1个区级镇，改91个乡、11个镇为64个乡(其中12个县直辖乡)。5月，又改为11个区、1个区级镇、64个乡(其中2个县直辖乡)。
1958年10月，撤区乡，改建为袁寨、程集、闻集、插花、行流、王店、口孜、大田、老庙、宁老庄、伍明、城关、王市、胡集、王人、马店16个人民公社。
1962年，改16个人民公社为16个区、1个镇。划小人民公社，全县共设85个人民公社。
1964年，划王市、王人、胡集、马店4个区及其所辖20个人民公社入利辛县，全县尚有12个区、65个人民公社。
1969年撤区，将65个人民公社合并为杨楼、口孜、正午、插花、袁寨、新华、伍明、苏集、行流、宁老庄、姜堂、闻集、苏屯、马寨、大田、程集、城郊、王店、三十里铺、老庙20个人民公社。1973年增设三合、邵营、枣庄3个人民公社。1976年，增设乌江、九龙2个人民公社。至此，全县25个人民公社。
1979年8月，恢复区，划小人民公社。全县设王店、程集、华佗、闻集、行流、宁老庄、袁寨、口孜、枣庄、插花、伍明、新华12个区、75个人民公社。9月，增设渔业(直隶县辖)、茨河、韩寨、三门、单桥5个人民公社。
1984年，将人民公社改为乡(镇)，全县12个区、78个乡、2个镇、620个行政村。1985年，增设颍西镇，改程集、大田、伍明、王店、袁寨5个乡为镇。全县12个区、72个乡、8个镇、631个行政村、9个居民委员会。
1985年行政区划一览表
表1