“五四”运动后，在新文化运动的影响下，阜阳、颍上、涡阳3县的一批进步青年出外求学，在上海等地就读，接受了马克思主义教育，积极参加反帝爱国斗争。民国11年(1922年)，茅延祯(颍上县人)在上海经林伯渠介绍加入中国共产党，是阜阳地区第一个中共党员。1923年秋，张子珍(今阜阳市人)，在上海美术专科学校加入中国共产党。民国13年(1924年)初，郭铸九(今临泉县人)在上海大学加入中国共产党。同年夏，周传业、周传鼎(今阜阳市人，同胞兄弟)分别在上海大学、上海大夏大学加入中国共产党。同年冬，董橙君(今阜阳县人)在上海持志大学加入中国共产党。翌年6月，魏一博(涡阳县人)在宿县省立第十四中学加入中国共产主义青年团，不久转为中共党员。以上是阜阳地区的早期共产党员。
民国14年(1925年)8月，张子珍、周传业、周传鼎创建阜阳地区第一个中共党组织——中共阜阳小组，由张子珍任组长，以“淮颍书局”为活动地点，该小组隶属中共上海区委领导。同年秋，共产党员李乐天在阜阳县行流集建立中共行流小组，李乐天任组长。同年12月，中共阜阳临时支部在阜阳城建立，支部负责人周传业(后吕浩汝)，委员有周传鼎、汪惠波、董橙君、张蕴华，有党员34人。该支部先后隶属中共上海区委、中共安徽省临委领导。次年8月，魏一博和由其介绍入党的王立仁、王汉光在涡阳创建中共涡阳小组，是年底建立中共涡阳支部，支部书记魏一博，组织委员王汉光，宣传委员王立仁，该支部隶属中共南京地委领导。
民国16年(1927年)蒋介石反革命政变后，中共阜阳临时支部与国民革命军驻太和县的第十军杨虎城部、驻阜阳县的第十九军高桂滋部里的中共党组织取得联系，军地结合，开展农运、兵运、工运，发展党员。
民国17年(1928年)2月9日，中共临时皖北特委在太和城成立，不久改为中共皖北特委。辖中共阜阳县委、太和县委、蒙城县委、寿县县委、霍邱县委、亳县特分委和中共颍上支部等组织，全区有党员1300多人。特委隶属中共中央，同时受中共河南省委指导。同年4月9日，皖北特委领导阜阳起义失败后，地方党组织大部分遭破坏。同年10月，中共阜阳县临委会恢复。翌年5月，中共中央决定以阜阳县临委为基础组建中共阜阳中心县委。民国19年(1930年)冬，改中共阜阳中心县委为中共皖豫边区临时特委，民国20年(1931年)3月，中共中央批准成立中共皖北中心县委。8月，又将中共皖北中心县委同中共皖西(合肥)中心县委合并成立中共皖西北中心县委，管理各县党的工作。民国21年(1932年)5月，撤销皖西北中心县委，恢复中共皖北(寿县)中心县委，指导寿县、凤台、颍上、霍邱、阜阳、太和、蒙城、涡阳、亳县等9县党的斗争。民国23年(1934年)，将中共皖北(寿县)中心县委划分为中共皖豫边区中心县委和中共皖北(寿县)中心县委。中共太和县委划归皖豫边区中心县委领导，其余各县仍属中共皖北中心县委领导。9月、11月两个中心县委都因叛徒出卖遭破坏。
抗日战争爆发后，中共安徽工委、中共河南省委通过各种渠道，派一批党员来阜阳地区，开展抗日民族统一战线，恢复和发展党的组织。至民国28年(1939年)5月，各地党组织相继恢复。为了加强领导，中共皖北特委在阜阳城建立。在特委领导下，中共阜阳、太和、临泉、涡阳、蒙城等县委先后成立。同年12月，撤销中共皖北特委，在临泉建立中共阜临太中心县委，在涡阳抗日民主根据地重建中共皖北特委。
民国29年(1940年)8月，撤销中共皖北特委，成立中共皖北地委和中共淮上地委，统一领导根据地内的涡阳、亳县、永城、蒙城、凤台等县党政武装建设。同年10月，撤销中共皖北地委，成立中共涡浍地委；撤销中共阜临太中心县委，在临泉成立中共皖北地委，领导临泉、太和、界首党的地下工作。
民国30年(1941年)2月，成立中共泽东地委，辖涡阳、永城、宿西3县，同年6月撤销。1941年5月中共皖北地委与豫东南地委合并，成立中共豫皖地委。民国33年(1944年)11月，中共淮北苏皖边区第二地委(亦称中共路西地委)成立。抗日战争胜利后，改中共淮北苏皖边区第二地委为中共中央华中分局第八地委，阜阳地区内的中共宿(县)蒙(城)县委、中共雪(枫)涡(阳)县委和中共雪(枫)商(丘)亳(县)县委归属第八地委领导。
民国35年(1946年)12月，成立中共豫皖苏边区委员会，将华中八地委改为中共豫皖苏第三地委，在涡河、颍河间建立中共豫皖苏第二地委。1947年10月，豫皖苏区党委决定：在平汉路以东，颍上以西的颍河、淮河间成立中共豫皖苏第四地委；在阜(阳)亳(县)公路以东，怀远县以西的涡河、淮河之间，成立中共豫皖苏第六地委。四地委先后建立中共临泉、泉阳、泉南、阜南、颍(上)、阜(阳)、临泉市、阜阳市等县、市委。六地委先后建立中共涡阳、蒙城、凤台、阚疃、颍上(沙北)、怀远和涡阳市委。民国37年(1948年)3月，在界首市成立中共沙河城市工作委员会。
民国37年(1948年)6月，中共中央决定撤销中共豫皖苏边区委员会，成立中共豫皖苏中央分局。1949年2月，撤销中共豫皖苏二、三、四、六地委及沙河工委，将其所属原阜阳专区部分归还原建制，成立中共安徽省阜阳地方委员会。
自民国17年(1928年)，中共皖北特委建立至民国37年(1948年)，各个时期的特委、中心县委、地委其内设工作机构均为组织部、宣传部、秘书，有时增设军事部、敌工部、青年部、妇女部、社会部、民运部或机关报刊编辑部等。