巢湖市（原巢县）的历史源远流长，有文字记载的历史就有三千多年。
商时地属南疆，故名南巢。《尚书·仲虺之诰》：“成汤放桀于南巢。”
周时为巢（伯）国地。春秋时为楚属国。四至大致东到昭关（今属含山县），西至庐江，南达长江，北到巢湖。巢国多次被吴国所占，《春秋》：鲁哀公十二年（公元前483年），“公会吴于橐皋”，即今柘皋。周元王四年（公元前472年），越灭吴，巢国还楚。
秦统一后，置郡县，今柘皋一带为橐皋县，今巢湖以南为居巢县，也作居鄛。两县均属九江郡。汉高祖四年（公元前203年）设淮南国，领居巢。景帝四年（公元前153年），居巢改属庐江郡（橐皋仍属九江郡）。东汉橐皋归逡遒县（今肥东），居巢为刘般封国，称居巢侯国。东汉末年，袁术占据淮南，重立居巢县。建安三年（公元198年），居巢属吴。二十二年曹操占居巢，此后一直隶属曹魏。西晋在原居巢境分设居巢、临湖、襄安，隶属庐江郡。南北朝设南豫州，领南礁郡；刘宋大明三年（公元459年），居巢易名蕲，隶属刘宋。萧齐因之。南梁置合州，蕲所在的南谯郡属之。
隋统一后，改合州为庐州。开皇元年(公元581年)，襄安改属庐江郡。据《隋书·地理志》载：襄安“有龟山、紫微山、亚父山、半阳山、白石山、四鼎山”。至此，今巢湖市东、西、北方位大致形成。
唐武德三年(公元620年)，析襄安为开城、扶阳两县，隶属巢州。七年州废，合两县名巢县(巢县一名，当始此)，隶属庐州。贞观元年(公元627年)，分天下为十道，巢县属淮南道。天宝元年(公元742年)，改州为郡，隶属庐江郡。至德元年(公元756年)，归淮南军领辖，次年庐江郡改为庐州，随属之。五代始属唐。天五年(公元908年)唐亡，归吴。后晋天福二年(公元937年)属南唐，归昭顺军。后周显德五年(公元958年)归保信军。
北宋太平兴国三年(公元978年)设无为军，治所在巢县城口镇(今无为县城)，领巢县、庐江二县。至道二年(公元996年)，县治设巢城(今巢湖市址)。熙宁三年(公元1070年)，析巢县南、庐江东置无为县。至此，今巢湖市的四至基本确定。南宋景定三年(公元1262年)，升巢县为镇巢军，属沿江制置使司。元至元十四年(公元1277年)设无为路，镇巢军隶之。二十三年再称巢州。二十八年，置巢州为县。自此巢县名至改置巢湖市前一直未变。泰定二年(公元1325年)分天下为十八道，巢县属淮西道。至顺三年(公元1332年)归淮南江北行省。至正二十四年(公元1364年)，朱吴设中书省，巢县隶庐州府无为州。清废州设府。顺治十八年(公元1661年)，巢县属庐州府，归江南左布政使辖；康熙元年(公元1667年)改属安徽省，后属安庐滁和道辖。
民国元年(1912)元月，巢县直属安徽省。民国3年6月至民国17年8月属安庆道，民国21年10月至民国27年7月属第二专区，后改属第五专区。民国27年10月25日改属第三专区。民国28年元月改属第五专区。
1949年元月13日，内定巢县属江淮解放区第五行政区，县政府设柘皋镇。4月21日改属皖北行署巢湖专区。1952年2月4日，巢县改属芜湖专区。同年县政府迁至巢城。1958年8月7日改属合肥市。1961年4月13日复属芜湖专区。1965年7月14日复设巢湖专区，专区驻巢城，巢县隶属之。1971年8月29日，巢湖专区改称巢湖地区，巢县隶属不变。1983年10月23日，省政府转发国务院批复决定，撤销巢县改置巢湖市，行政区域不变。1984年1月4日，巢湖市正式成立，仍属巢湖地区。