淮南地区历史悠久，历史上以“淮南”命名的建置由汉代开始，历经三国、两晋、南北朝、隋、唐、直到两宋。上溯历史，市境夏商时期为“淮夷”之地，并先后为夏、商王朝所征服；西周时期分封诸侯，属州来子国地；春秋末期，楚国势力东渐，蔡国在楚逼迫之下，向吴国求救。为便于吴蔡的互相援助，蔡昭侯自新蔡（今河南）迁都于州来，改州来为下蔡。后蔡被楚所灭，市境即为楚国所有。战国末期，楚考烈王二十二年（公元前241年），楚迁都于寿春（今寿县），改寿春为郢。市境成为楚国的京畿之地。秦始皇帝二十四年（公元前223年），秦灭楚。秦始皇帝二十六年，秦统一六国，市境属九江郡（郡治在今寿县）。凤台县境属泗水郡地。
西汉初年，汉高祖刘邦于高祖四年（公元前203年）封英布为淮南王，首置淮南国，都六（今六安），辖九江、庐江、衡山、豫章四郡。高祖十一年（公元前196年），英布获罪伏诛，改封刘长为淮南王，都寿春（寿县）。汉孝文六年（公元前174年），刘长获罪流放，死于途中，改封城阳王刘喜为淮南王。
汉孝文十六年（公元前164年），淮南国一分为三：淮南、衡山、庐江，分别封给刘长的3个儿子，长子刘安继为淮南王。此时淮南国辖地缩小至九江郡大致范围，都寿春。汉武帝元狩元年（公元前122年）刘安获罪自尽，国除，复为九江郡，治寿春。西汉时期，市境为淮南国和九江郡所辖，凤台县属沛郡下蔡县。
东汉沿用西汉建置，市境及辖县凤台均属九江郡，分别为寿春县、下蔡县地。汉末，袁术据寿春改设淮南郡。入魏仍称淮南郡，治寿春。其后，魏文帝先后封其子曹邕及其弟曹彪为淮南王。明帝青龙元年(233年)移治合肥新城。淮南市境及凤台县均为淮南郡所辖。西晋初年，淮南郡迁治于寿春，市境为其所辖。永嘉乱起，淮河流域沦为战乱区。东晋初因避郑后阿春名讳，改淮南郡治寿春为寿阳。由于战乱，江淮郡县大批废弛，北人南迁，咸和初年侨置淮南郡于丹阳郡于湖，寿阳境则侨置南梁郡。遂出现淮南郡侨置于江南，南梁侨置于淮南的现象。
南北朝期间，刘宋、南齐、梁侨置淮南郡于江南，市境范围内先后为侨置的豫州梁郡等建置，凤台县一度成为侨置的汴州州治。北魏、北齐、北周、隋均置淮南郡于故地，治所寿春，市境属淮南郡寿春县，凤台属汝阴郡下蔡县。
唐置淮南道，治所在扬州，市境为淮南道寿州所辖，凤台县属河南道颍州下蔡县。五代十国时期淮南道称谓不变，寿州、下蔡先后为吴国、南唐所有，后周改寿州治于下蔡，遂有南北寿州之称。
北宋置淮南路，治所在扬州(江都)，市境属淮南路寿州，州治在下蔡。熙宁五年（1071年）分淮南路为东西两路，淮南西路治寿州（下蔡），政和六年（1116年），升寿州为寿春府。此间，市境及辖县凤台分属寿春府寿春、下蔡两县。南宋淮南西路移治合肥。宋金对峙初期，市境仍属寿春府寿春、下蔡二县，府治下蔡。后宋金和议达成，以淮河、大散关为界，淮河以北为金国所有，金国在下蔡置寿州。宋乾道三年（1167年），寿春府移治寿春；此后，淮南为宋地，凤台属金国。宋亡，淮南路废。
元代置行省，市境属河南江北行中书省（也称河南行省）安丰路，治寿春，市境分属寿春、下蔡县。至元二十八年（1291年）建怀远县，今市区东部属怀远所辖。
明代置南京，直辖中书省，市境属南京凤阳府辖地，分属寿州（包括凤台全境）、怀远县。
清初，市境属江南省凤阳府，分属寿州、怀远县所辖。雍正十一年（1733年），寿州分置寿县、凤台二县，同城分治。同治三年（1864年）凤台县迁治下蔡（今凤台县城）。
民国元年（1912年）废府，市境分属寿县、凤台、怀远等县，其中有“淮南三镇”之称的田家庵、大通、九龙岗均为怀远县辖地。
淮南市是成立于建国后的一座新兴工矿城市，建国之前不是独立的行政区域。清末，近代煤炭工业在此出现，大通煤矿公司创办。民国19年（1930年），国民政府在此创办淮南煤矿局，官商两矿开始持续、规模经营，逐步形成田家庵、大通、九龙岗这淮南三镇。1949年1月18日，淮南解放。同年3月，中共中央华东局决定，在淮南三镇的基础上从寿县、凤台、怀远3县各划出部分地区设立一个独立的行政区——皖北淮南煤矿特别行政区，这是今天淮南市最早的行政建置。
1949年4月21日，中共中央华东局撤销皖北淮南煤矿特别行政区，改设皖北淮南矿区；1950年9月，撤销淮南矿区，改设淮南市（县级）；1952年6月改设省辖淮南市，沿续至今。