肥西县是1948年12月析合肥县西、南乡建立的新县，以位于合肥之西得名。
肥西境内很早就有人类活动，考古部门发掘鉴定，共发现新石器晚期人类居住遗址4处，商、周时期人类遗址100多处。
商、周时期，肥西为“淮夷”之地。西周时，县境北边有“虎方”，南面有“群舒”部落，西边有“六”国。春秋时期，肥西为吴、楚交争。战国时属楚国。
秦代分天下为三十六郡，肥西属九江郡。
汉初，肥西先后属英布的九江王国(都六，今六安)，刘长、刘安的淮南王国(都寿春，今寿县)。公元前122年(武帝元狩元年)，分天下为十三州，淮河以南属扬州；淮南王国废，设九江郡；郡下设县，肥西东南部属合肥县、西北部属成德县。《史记·货殖列传》：“合肥受南北潮，皮革、鲍、木输会也”。“合肥”之名，首见于此。此名因境内肥水而得(详见《附录》中《肥水发源及合肥得名辨考》一文)。
东汉，刘秀封坚镡为合肥侯，肥西分属合肥侯国和成德县。
三国时，合肥、成德二县属魏国淮南郡，魏扬州刺史驻合肥。
西晋，合肥、成德县皆属扬州淮南郡。
东晋，成德县废，其地分入寿县、合肥县，肥西全属合肥县。
南北朝时，江淮间为南北政权反复争占，归属屡变，但肥西主要属南朝。
宋：合肥侨置南汝阴郡及汝阴县，隶于南豫州。
齐：合肥仍宋制。
梁：初，合肥为北魏所占。公元506年(梁天监五年)合肥归梁，先后置豫州、南豫州，郡县仍宋、齐制。547年(梁太清元年)，南豫州迁寿阳，改合肥为合州，辖合肥至江北之地。太清三年，合州为东魏所占。
陈：573年(宣帝太建五年)，合州入陈。郡县仍旧。后废汝阴郡，汝阴县属合州北陈郡(治合肥)。579年，合州为北周所占。
隋代，改合州为庐州(仍治合肥)，“庐州“之名，是由汉、晋时“庐江郡”(南朝梁、陈时入合州)而来。北陈郡及汝阴县皆废，恢复合肥县，属庐州。大业三年，改庐州为庐江郡(治合肥)。
唐初，改庐江郡为庐州；627年(贞观元年)，全国分十道，庐州属淮南道；742年(天宝元年)，又改庐州为庐江郡；758年(乾元初年)，复改郡为州。合肥县属之。
五代十国时期，合肥先后属吴、南唐、后周。
宋代，庐州隶淮南道，后改为淮南路。1072年(熙宁五年)，淮南路分东、西两路，庐州属淮南西路，隶于保信军节度使(驻合肥)。肥西有段寨、山南、新仓三镇。南宋时，淮西制置使驻庐州，合肥县属之。
元代，初置淮西总管府于合肥，不久改为庐州路，隶属于淮西江北道。后创行省，庐州路属河南江北行省，肥西有长城镇(今长镇)巡检司，至明代裁撤。
明代，梁县(在今肥东县境内)并入合肥县。合肥初置江淮行省，后撤，领于南直隶(南京)。
清初，庐州府合肥县隶于江南省(驻南京)，1667年(康熙六年)，分置安徽省。合肥县隶之。1771年(乾隆三十六年)肥西设官亭巡检司辖西乡，青阳巡检司辖南乡。
中华民国：1912年(民国元年)，撤庐州府，合肥县直属安徽省(驻安庆)。1915年设道，合肥属安庆道，1929年撤道。1933年设行政专员督察区(简称专区)，合肥县属三专区。1938年6月，合肥县城被日军侵占，县政府迁至肥西潜山乡鸽子笼圩子。1945年抗日战争胜利后，县政府迁回合肥城内。安徽省政府也从大别山迁驻合肥。
1948年12月底，肥西民主县政府在杨新圩（今江夏乡境）成立，肥西建县，属中共皖西三地委领导。1949年1月初，肥西民主县政府移驻农兴乡小梁岗、周新圩。1949年4月，成立皖北行署(省级)驻合肥市。肥西民主县政府改称肥西县民主政府，直属皖北行署。6月，县民主政府移驻上派河镇。另外，三河镇自1949年1月解放后设市(县级)，属巢湖专区。
中华人民共和国：1949年10月，肥西县民主政府改称肥西县人民政府。1950年，肥西县隶属皖北行署巢湖专区；4月，三河撤市设区，并入肥西县。1952年2月，肥西县改属皖北行署六安专区。1952年8月，皖南、皖北行署合并成立安徽省人民政府，肥西县隶属安徽省六安专区。1958年9月，肥西县划属合肥市。1961年4月，肥西县又划归六安专区。1983年7月，肥西县复属合肥市辖。