含山秦时为历阳县地，属九江郡。汉高祖四年(公元前203)，历阳属淮南国。元狩元年(公元前122)，淮南国除，历阳仍属九江郡。武帝置十三州时，改九江郡为扬州，历阳属扬州。后汉因之。
西汉末年，王莽篡政，改九江郡为延平郡，改历阳县为明义县。
三国时，历阳属吴。
西晋时期，历阳先属扬州淮南郡，永兴元年(公元304)，属新设历阳郡。东晋大兴二年(319)，分历阳县境西部侨置龙亢县，县治在今县南40里，相传即今杨府城村，属扬州历阳郡。
南北朝时期，宋永初二年(421)，龙亢属南豫州历阳郡，元嘉七年(430)，属豫州历阳郡。大明三年(459)，属南豫州历阳郡。齐建元二年(480)，属豫州历阳郡。永明二年(484)，属南豫州历阳郡。梁太清二年(548)，侯景破历阳，江北之地尽属东魏。北齐天保六年(555)，齐、梁通和，遂改历阳为和州，龙亢归和州。陈宣帝末，北周尽取江北之地，将龙亢县地并入历阳县，至此龙亢县废。
隋开皇十三年(593)，历阳县属和州。大业三年(607)，历阳县属历阳郡。
唐武德六年(623)，分历阳县西部地区原龙亢县境域设含山县，县以境内的含山命名。含山，又名横山。《清一统志》说：“在含山县西三十里，崔巍雄峻，群山列峙，势若吞含，唐因以名县。”《太平寰宇记》又说；“以县境众山所含，故名含山县。”武德八年(625)，含山县废，并入历阳县。长安四年(704)，在原含山县境置武寿县，属淮南道和州。神龙元年(705)，复名含山县，领属关系未变。自此含山县名沿用至今。
唐天宝元年(742)，和州改为历阳郡，含山属淮南道历阳郡。乾元元年(758)，历阳郡再改为和州，含山属淮南节度使和州。贞元十六年(800)，属舒庐滁和都团练使和州。天稀元年(904)，属淮南节度使和州。五代十国时期，含山初属吴、南唐，后属后周，均隶和州。
两宋时期，含山属淮南西路和州防御使。
元至元十三年(1276)，含山属淮西总管府和州镇守万户。至元十四年，属庐州路总管府和州安抚司。至元十五年，属和州路。至元二十八年，和州路降为和州，属庐州路和州。
元至正二十七年(1367)，含山县废,县南部分入无为州，余并入和州，属南京庐州府。明洪武七年(1374)，属南京凤阳府。洪武十三年，复置含山县，属京师直隶和州。
清顺治二年(1645)，含山属江南左布政使司直隶和州。康熙六年(1667)属安徽布政使司直隶和州。
民国元年(1912)，废道、府、州，含山县直属安徽省。民国3年至17年，属安庆道。民国18年至37年，先后属安徽省第八、第五、第九视察区和行政专员督察区。
民国27年，日军侵占含山县城，国民党政府转移谢集乡农村。次年4月3日迁回县城。民国30年7月，县城再度沦陷，县治北迁仙踪镇。民国34年7月17日县城光复，8月2日，县治由仙踪镇迁回县城。
民国29年，日伪于含南运漕镇另立含山县政府，民国31年迁铜城闸镇。
民国31年，由共产党领导在福山、陶家厂一带建立抗日民主政权，成立和含行政办事处，属皖中行署，后改属皖江行署。民国32年秋冬，成立含巢行政督导处，后改为含巢行政办事处(为县级政权)，驻福山乡，属和含专员公署，直至1945年9月新四军北撤。
1949年1月21日含城解放，含山属江淮解放区第五专区。同年6月，改属皖北行署巢湖专区。
1952年1月30日改属安徽省芜湖专区。1958年12月15臼，含山县、和县合并为和含县，属马鞍山市，县治设历阳镇。1959年4月和含县属芜湖专区。1959年6月1日，含山、和县分开，各还原建制。1965年7月28日含山改属巢湖专区(后专区改为地区、行署)，至今未变。