据汪洋遗址出土文物考证，早在5000多年前的新石器时代，县境内就有人类活动。东晋隆安至元兴年间(397～404)置大雷戍。义熙元年(405)始建新冶县。南朝陈文帝时(560～566)升县为大雷郡。隋开皇十一年(591)改大雷郡为义乡县。隋开皇十八年(598)改名望江县。无论为郡为县，辖境均无多大变动。
县以下基层区划：明代实行乡、里、镇制。清代顺治年间实行乡、图、甲、镇制；康熙年间先改乡、图为寺，存镇，后又改寺为里；乾隆年间恢复乡制，里、镇建制不变。民国年间实行区、乡、保、甲制，其间较大变动共8次。解放初，实行区、乡(镇)、村制，1958年改为人民公社、生产大队、生产队制，1984年又恢复区、乡(镇)、村制，其间较大的变动共10次。