清宣统三年（1911年），大通煤矿公司成立后，对在生产、经营中形成的档案文件进行了归档保管。民国19年（1930年），淮南煤矿局成立，档案工作由局总务课文书股负责管理。矿区的其他企、事业单位也设立相应的档案管理机构。民国27年6月矿区沦陷，日军侵占淮南矿区，淮南矿路股份有限公司保管的档案辗转于上海、汉口、香港、马尼拉等地，损失较为严重。民国35年，光复后的淮南矿路股份有限公司，由总务外文书课负责档案的管理并制订了《档案分类草案》、《档案处理顺序及手续》等规章制度。
1949年1月18日淮南解放，原设在淮南矿区的企、事业单位的档案被人民政权接收。1950年底，中共淮南矿委和市人民政府秘书室内均设置专人从事档案工作。1957年，市委和市人委相继建立机关档案室，配备3名专职人员。1959年8月，市委、市人委将两个机关档案室合并，成立了市档案馆。随即全市各机关、企事业单位也先后建立了档案管理机构，配置了专兼职档案管理人员，并制定了一些相应的规章制度。至1959年底，全市共建立了27个档案馆（室），配置档案干部135人。1960年，市人委成立了市档案管理科（与市档案馆合署办公），全市逐步实行了党政档案的统一管理。这一时期，科技档案工作也有较大的发展，全市已建立了12个技术档案室，从事技术档案管理工作有95人。
“文化大革命”期间，档案事业遭到严重的破坏，全市的档案工作管理体制被打乱，档案干部被迫改行，档案资料随处堆放，长期无人过问，造成霉烂、虫蛀和散失。
1975年1月，市革命委员会恢复了市档案馆建制。1976年2月市委办公室设立了档案科。1977年全市恢复建立了67个档案室（馆），并对“文化大革命”期间的积存档案文件进行了清理、整理。
1980年11月成立市档案局（与市档案馆合署办公），从1981～1987年，五区及城建、公安和矿务局档案馆相继建立。到1990年底，全市已建立452个档案室（馆），一个以市档案馆为中心，布局合理、分工科学的档案工作管理网络基本形成，档案工作队伍建设也有长足的发展。全市共有档案管理人员436人。1988年1月1日，《中华人民共和国档案法》正式实施，使档案事业发展有了可靠的法律依据和保障。这一时期，保管档案的设施得到了改善，馆藏档案不断丰富。1984年市档案局（馆）兴建了1388平方米的档案大楼，档案柜由恢复整顿前的36个增加到203个，馆藏档案数量由1966年前的9个全宗3860卷（册）至1990年增加到65个全宗24176卷（册）。全市机关、企事业单位档案室（馆）的条件也得到了进一步的改善，馆藏档案数量也有大幅度增长。到1990年底，全市各级各类档案室（馆）库房总面积达4809平方米，馆藏档案资料为124275卷（册）。档案馆、档案室已购置了复印机、去湿机、空调机、除尘器等设施。电子计算机辅助档案管理也开始起步。