春秋沈子国，战国称寝或沈，为楚寝丘邑，治所在今县城西古城。秦始皇廿六年(公元前221年)统一中国，置寝县，属楚郡(后析置陈郡属之)。汉改为县赐李通更名固始侯国。永平六年(公元63年)改鱼同阳县为鱼同阳侯国。永建元年(126年)，封刘显为阜阳侯，置阜阳侯国，至永兴元年(153年)废。三国魏改置鱼同阳、固始两县，属汝南郡。西晋仍鱼同阳、固始两县，属汝阴郡。东晋咸康二年(336年)，鱼同阳、固始两县并入新蔡县，后复立，属新蔡郡。南北朝时初属宋后入魏，梁大通二年(528年)入梁，太清末复入魏，东魏武定八年(550年)改固始置财州，北齐废财州、鱼同阳县，置褒信县。隋开皇三年(583年)废褒信县置沈州，把原褒信县地分置鱼同阳、沈丘两县，隶属沈州。十六年，州治移往项城，沈丘县属颍州。唐武德元年(618年)在今县东南部增置高塘县，六年废，入汝阴县。贞观元年(627年)废鱼同阳、沈丘两县，并入汝阴县。神龙二年(706年)分汝阴复置沈丘县仍属颍州。宋属顺昌府。元至正廿六年(1366年)，明军夺取颍州，元将扩廓帖木儿挟军民北逃。明初废沈丘县入颍州。清雍正十三年(1735年)颍州升为府，设阜阳县，即为阜阳西乡之地。在驿口桥(今老集)设府同知(俗称“二府”)，在沈丘集(今县城)设巡检司。
民国23年(1934年)9月，析阜阳县西乡北起颍河，南至洪河，纵以茶棚大路、龙王堂、栗头店、五坑集、欧庙集、会龙集、九龙沟以西设立新县，因县城滨临泉河，故名临泉县，属安徽省第七行政督察区，民国28年改属安徽省第三行政督察区。
解放初，民国36～38年，分置临泉、泉南、泉阳3县和临泉市，统归豫皖苏区第四地委所辖。1949年3月，合并临泉、泉南、泉阳县和临泉市仍为临泉县(包括今界首县颍河南和阜南县方集区)，属皖北人民行政公署阜阳专区。1952年属安徽省阜阳专区。1971属安徽省阜阳地区。