光绪三十四年(1908)，合肥始设巡警公所。民国元年(1912)，警务公所改为警察事务所，由警务长主持，受县知事节制。民国5年改称合肥警察署。民国16年，设立合肥县特种公安局，直属省警务处。民国26年改称警察事务所。
民国27年，合肥沦陷。汪伪合肥县政府成立后，改设县警察局。抗日战争胜利后，合肥为安徽省会，合肥警察局改为省会警察局，虽历经政权更迭，但警察制度一直未废，并逐渐加强。
在民主革命和抗日战争时期，饱受国民党反动统治和日本侵略者蹂躏的合肥人民，在中国共产党的领导下，积极开展武装斗争，不断出击合舒公路、合六公路、巢湖航道、淮南铁路等日伪据点和交通线。在合肥周围的山区，与毗邻地区的人民共同创建和发展游击根据地，先后创建了定合县、巢合办事处、寿东南办事处等革命政权，建立了抗日民主政府公安局。在战争岁月里，公安机关配合武装斗争，开展了锄奸、交通情报等各项工作，为保卫革命政权，维护根据地社会治安，保障人民生命财产安全作出了积极贡献，为建国后建立人民公安机关，开展公安保卫工作积累了经验。
1949年1月21日，合肥解放。同年2月，合肥市人民政府公安局成立，即担负起整顿社会秩序和清匪反霸的任务。是年，全市搜捕了68名恶霸、土匪和特务分子，对1511名反动党团分子进行了登记管理，取缔了100多户烟馆、20多家娼妓处所，收容了乞丐、赌棍，迅速建立起人民民主专政的新秩序。从1950年12月开始，合肥市大张旗鼓地开展了镇压反革命运动。实行“镇压与宽大相结合”和“坦白从宽、抗拒从严”等一系列政策。镇压了一批罪大恶极的土匪、特务、恶霸和反动会道门头子，打击了破坏金融财贸和其他严重危害治安的犯罪分子。
1953年以后，主要是打击各种反革命的破坏活动，同盗匪和危害人民生命财产安全的各种治安灾害事故作斗争，保卫党的中心工作以及各项建设工作的顺利进行。这一时期，开展了取缔反动会道门和禁烟禁毒运动；打击造谣破坏，保卫金融改革；加强对旅店、无线电、公共场所等行业的管理；打击反革命分子和其他刑事犯罪分子的各种破坏活动；制订适应当时需要的治安管理法规和制度，促进了社会秩序的迅速好转。到1956年，全市发生刑事案件仅占人口总数的6.3。
1957年，在保卫第一个五年计划实施的同时，对内外残余反革命势力进行了再次打击。同时，不断完善和加强基础业务建设，对治安上的突出问题，有针对性地进行治理。1958年，在“大跃进”中，公安工作也搞“大跃进”，大搞安全运动，急于求成，一度提出过“水晶石”、“玻璃板”以及“无火灾”、“无盗窃”等“十无”这类不切实际的口号，在破案上搞“拔白旗”、“插红旗”等错误做法。这些均在不长的时间内得到纠正，使工作沿着正确方向健康发展。
在三年困难时期，社会治安曾一度出现某些混乱现象。1962年刑事案件发生率占人口总数的19（。
“文化大革命”期间，林彪、江青反革命集团大搞“砸烂公检法”，合肥市公安机关先后有300多名干警下放农村或调离公安机关，一度撤销派出所机构，取消政治教导员、指导员，并以“文攻武卫指挥部”、“民兵指挥部”代替公安机关的部分职能，搞所谓群众专政，削弱了公安机关的专政职能作用，以致治安管理松散，社会上“打、砸、抢”横行，刑事案件发案数占总人口的25。在社会秩序不正常的情况下，广大公安干警仍然牢记自己肩负的使命，克服各种困难，恪尽职守，在惩治犯罪、维护治安中做了大量工作。
粉碎“四人帮”后，特别是党的十一届三中全会以来，公安机关经过拨乱反正，各项工作重新走上健康发展的道路。1979年，公安机关对全市591件申诉材料进行了复查，其中属于全错全平352件，占总数的59.5％；部分错部分平的37件，占6.2％。对“文化大革命”期间下迁的所谓“九种人”进行了复查纠正，233人的户口收回城市重新安置。同时，对全市原有的1309名“四类分子”进行全面复查，纠错260名，其他均被批准摘掉“四类分子”的帽子，落实了党的政策。
1979～1982年，合肥市重大案件渐趋上升，群众缺少安全感。为了保障改革开放和社会主义现代化建设的顺利进行，自1983年8月开始，全市展开了为期3年的“严打斗争”，依法从重从快地惩处了一批严重刑事犯罪分子。通过进行广泛深入的社会主义法制教育，广大群众增强了法制观念。公安机关先后收到群众检举揭发犯罪线索材料2000余份，扭送违法犯罪分子212人。犯罪分子也受到震慑，有100多人向公安保卫部门投案自首，各种刑事案件明显下降。1985年全市发案数比1982年下降47％，发案率由24。
1986年以后，随着社会政治经济的发展，各种犯罪现象呈现起伏不定的状态，有些案件有所回升，特别是重大案件上升，占全部刑事案件的比重增大。1983年重大案件仅占发案总数的16％，而1989年上升至41％。为此，公安机关实行多警种联合作战，组织专项斗争，建立遍布全市的三级治安巡逻网，建立健全违法青少年帮教组织，落实帮教措施，推进社会治安综合治理。
1990年后，合肥市各级公安机关认真贯彻落实《合肥市社会治安综合治理条例》(试行)，深入学习中共中央和全国人大常委会《关于进一步加强社会治安综合治理的决定》，运用各种宣传工具，通过各种形式，深入宣传和推广综合治理工作的典型经验，广泛发动群众积极参加社会治安综合治理；抓住“严打”这一综合治理的首要环节，适时开展了反盗窃、反抢劫等专项斗争，有效地遏制了刑事犯罪上升的势头。同时，对公路干线、火车站、农贸市场、城郊结合部等问题较多的区域，实行重点治理，切实改变了这些地区的治安状况。
1992年，市公安局坚持打防并举，标本兼治，治本为主的方针，积极开展综合治理工作。先后选派46名有经验的公安干警到街道办事处、乡(镇)任副职，专抓社会治安综合治理工作，逐步完善三级巡逻机制和治安防范网络，全面推广寿春派出所在居民区实行封闭式管理的经验，有效地预防和减少了犯罪。根据“谁主管、谁负责”的原则，公安部门与全市4000多个独立支部以上的单位签订了治安承包责任书，提高了基层单位自防自治能力，使内部单位1992年刑事案件发案数比上年下降50.4％，确保了企业经营机制的转换和经济建设的发展。1992年合肥市被评为“全国社会治安综合治理先进单位”。
在40多年的战斗历程中，合肥市公安机关在各级党委和政府的领导下，在工作中始终坚持群众路线，发扬党的优良传统和作风，广大干警结合业务工作，积极为群众排忧解难，经常进行爱民助民、办好事活动，并长期坚持一年一度的“爱民月”活动，向群众报告工作，接受群众批评监督，为群众办好事、实事。尤其在80年代，公安战线坚持从严治警，加强廉政建设，多次把破案缴获的赃款赃物集中地发还失主，进一步密切了警民鱼水关系。广大干警为保卫党和人民的利益不畏艰难困苦，不怕流血牺牲，在同犯罪分子作斗争的第一线忘我地工作，凭着坚定的信念和高度的觉悟，默默地奉献自己的一切。在依法惩治犯罪，维护社会治安，巩固人民民主专政，保卫社会主义建设事业作出了贡献。仅1983～1992年，全市公安机关有83个单位荣立集体一、二、三等功，261名干警荣立个人一、二、三等功，整个公安队伍具有很强的整体素质和战斗力。