解放初期，合肥工业落后。经过50年代的经济建设，合肥市的钢铁、纺织、机械、化工、轻工等行业有了较快的发展。在此基础上，中共合肥市委根据中共安徽省委的指示精神，于1959年7月28日成立了合肥市科学技术委员会。作为中共合肥市委、市人民政府领导和管理全市科技工作的专门职能机构，该委内设办公室、业务科、科学技术资料科，辖标准计量管理局、半导体材料试验厂、中心化验室、科教电影队4个单位。
1960年8月，合肥市成立了以各行业专家和有关领导参加的科学技术委员会。其任务是研究决策合肥市科学技术的发展方向和措施，为经济建设服务。
1962年8月9日，合肥市科学技术协会成立(简称市科协)，市科委、市科协合署办公，对外是一个机构、两块牌子。
1962年，合肥市科委系统有科委、科协、科学研究所、标准计量局、中心化验室和科技资料情报研究所6个单位，共131人。是年春，开始进行机构撤、并调整，保留科委、科协和标准计量所(标准计量局改为标准计量所)3个单位，人员精简压缩至52人，行政编制精简至10人。1963年，市科委行政编制精简至8人。
1970年7月，撤销合肥市科委，成立合肥市科技局，内设政秘科、工业科、农业科，编制15人。辖科技站、情报所、标准计量所、中心化验室、工业研究所、元件八厂(工业研究所试验工厂)。
1977年11月，撤销合肥市科技局，恢复合肥市科委。
1977年12月，合肥市科委与合肥市科协分署办公。
1990年，合肥市科委内设办公室、政工科、农村科技科、工业科技科、综合计划管理科、科技干部管理科、科技志办公室，人员共36名。辖合肥市科技情报研究所、合肥新技术应用研究所、合肥市技术市场、合肥市科技交流服务处、合肥市专利事务所。合肥市地震局归口合肥市科委。