民国36年（1947年）蚌埠建市后，市政府内设有担负审计职能的会计室，有工作人员8人，分预算股、秘书股。该室负责对市政系统的财政预算、决算和属财政拨款的经费使用情况进行审计，与市政府财政科是互相监督关系。
民国38年解放后，在市财政局内设会审科。建国后1951年，成立审计组，有工作人员6人，仍为财政部门的内部机构。1953年又成立财政监察组，负责检查行政事业单位执行财经纪律的情况，原审计组的权限逐渐缩小，至1955年，审计组审计工作基本停止。1958年，审计组撤销，人员充实到财政监察组和其他部门。
1983年10月，市成立审计局，为专门审计机构，配编制25人，内设工交审计科、商粮贸审计科、行政事业审计科、财政金融基建审计科和办公室。1985年又增编25人，总编制达50人。审计局实行双重领导，行政上属市人民政府，直接向市长负责；业务上受省审计局领导。市审计局有权对县、区审计局的审计项目进行复审。1985年底，少数企业也开始设立内部审计机构。