马鞍山在建立市政协之前，曾于1962年3月成立各界人士学习委员会，以此团结各方人士，进行爱国主义、国际主义和社会主义教育。学习委员会隶属市委统战部领导，有委员14人。为进一步密切党和各界人士的联系，根据中国人民政治协商会议章程，1964年2月，经省委同意，开始组成以黄驭为首的市政协筹备委员会。筹备委员会成立后，在市委领导下，先后举行过3次筹委会议，并和各方面人士进行多次联系和协商，为召开马鞍山市第一届政治协商会议及其机构的组建作了大量筹备工作。
1965年1月7日，政协马鞍山市第一届第一次全体会议召开，正式成立政协马鞍山市委员会。委员会内设秘书处，为政协办事机构。秘书处配有专职副秘书长和专职干部各1名，与市委统战部合署办公。1966年“文革”开始后，市政协被迫停止活动长达9年之久。直至1975年4月，始恢复市政协秘书处，由市革委会群工组统战小组领导。同年8月，召开了恢复后的第一次政协常委会议，同时开展政协活动。1978年，市政协与市委统战部分开办公。1981年8月，市政协秘书处改为办公室，下设秘书科和档案科。1983年12月，根据政协工作发展的需要，开始设置学习委员会、文史委员会、提案审查委员会和工作组委员会，并配了专职干部。1984年1月，市政协办公室增设联络科、文史办公室。至1987年底，市政协历经三届，共召开10次全体会议。