建市前，马鞍山地区尚无高等学校。建市后，各类专业技术人员需要量激增，单靠国家分配不能满足实际需要。1960年，马钢公司创办马鞍山业余钢铁大学，这是该市高等教育的第一次尝试，几年后学校停办。1962年，市内又办起业余医科大学，业余师范学院等高校。但时办时停，均未坚持下去。粉碎江青反革命集团以后，马鞍山市高教事业发展很快。1977年4月，马鞍山钢铁学院在马鞍山钢铁学校的基础上建成并开始招生。1978年3月，安徽师范大学马鞍山市师专班借市师范学校校舍招生开学，并于1979年10月正式改为安徽师范大学马鞍山师范专科学校。1978年底，安徽广播电视大学马鞍山分校开办。1979年5月，马钢公司工会重建业余钢铁大学。1983年，马鞍山钢铁公司职工大学在马鞍山业余钢铁大学等4所学校的基础上建成。1984年，马鞍山联合大学开始组建。同年，市委党校开设大专班。至1985年，马鞍山高等院校发展到6所（含市委党校大专班），在校学生4176人，教职工1401人，其中专任教师606人，专任教师中副教授21人，讲师230人；共培养出大专以上毕业生3906名。