嘉山现有境域设县前为盱眙、定远、滁县、来安四县所辖。汉代为盱眙、淮陵县地，属临淮郡。南朝宋侨置睢陵县。北魏改睢陵为睢阳，属济阴郡。

北齐改名池南县，南陈复名睢陵县，北周改名招义县，隋大业三年(607)，改为化明县(治今嘉山县女山湖镇)属钟离郡。唐高祖武德五年(622)，复名招义县，隶属潦州。宋改招义为招信县，置招信军。元至正二十年(1360)招信县并入盱眙县，属招信路。明代属凤阳府泗州。清雍正初属直隶泅州。民国21年(1932)11月，析盱眙，滁县、定远、来安四县地设置嘉山县。县治所在地设三界(今老三界)。

嘉山建县后，隶属安徽省第九行政督察区专员公署。民国26年(1937)“七·七”抗日战争爆发后，不久县城老三界沦陷。一年后，日伪于明光镇成立日伪县政府。民国29年(1940)春，共产党领导的抗日武装在自来桥建立嘉山县抗日民主政府，民国30年(1941)9月，在县境内北部和西北部，盱(眙)凤(阳)嘉(山)和定(远)凤(阳)、嘉(山)县抗日民主政府亦相继建立。

民国34年(1945)9月，抗日战争胜利后，民国嘉山县政府由全椒县古河迁回明光，明光镇成为县治所在地，嘉山县隶属安徽省第五行政督察区专员公署。嘉山县于1949年1月解放，县城明光是中共嘉山县委、嘉山县人民政府所在地，成为全县政治、经济、文化中心，隶属皖北行署滁县专区。1952年4月起，隶属安徽省滁县专区。1956年1月，滁县专区撤并后，隶属安徽省蚌埠专区。1961年3月，恢复滁县专区，嘉山县仍属安徽省滁县专区。1971年3月滁县专区改称滁县地区，嘉山县隶属滁县地区至今。