公安队
1949年2月上旬，合肥市始建公安武装部队，编制99人，归属内卫部队并接受市公安局领导。主要担负内卫任务，并配合人民解放军清剿匪特，参加平息反革命暴乱，打击反革命残余势力的斗争。
中华人民共和国成立后，根据《中国人民政治协商会议共同纲领》和公安部制定的《整顿各级人民公安武装的方案》，市公安队纳入市公安机关的建制。公安队除参加剿灭土匪肃清特务的斗争外，主要负责武装看押犯人，护卫劳教场所，以及逮捕、追捕和押解罪犯等。
1951年9月，全国内卫、边防、地方公安部队整编为“中国人民解放军公安部队”，合肥市公安队改为中国人民解放军建制。
武装警察中队
1958年8月，全国各地开始建立人民警察制度，根据中央关于将担负看押劳改犯等任务的内卫部队及边境、边防部队等拨交公安部门，改为人民武装警察部队的决定精神，驻肥部队42团所属的内卫连队改为合肥市武装民警中队，隶属军事、公安双重领导。
1959年5月，省武警总队直属二支队的一个中队和合肥市公安局两个经济民警中队，合并组建成合肥市大队(团级)，受省武警总队和市公安局双重领导，担负市看守所、联合仓库、粮食二库、石油库等看守、护卫任务。大队部和看守所中队由武警总队负责供给，经济民警两个中队均由用兵单位负责供给，大队部驻合肥六安路42号。
武装警察支(大)队
1960年8月，省委批复同意中共合肥市委《关于编制人民武装警察支队的报告》，在原合肥市大队的基础上，成立合肥市支队，其隶属关系不变。支队设司令部、政治处、后勤处，下辖4个大队，即：武警大队、消防大队、交警大队和经济民警大队。1962年5月，支队奉命撤销，保留1个中队担负看守任务，其余单位仍划交市公安局领导。
1965年3月，恢复公安大队建制，由总队第一、二、三团各抽1个连，原合肥市支队1个中队，另外驻长丰、淮南、蚌埠各1个中队，共7个中队组成(相当团级)，隶属中国人民公安部队安徽省总队。大队部驻合肥市六安路24号。
“文化大革命”期间，市公安大队奉命移交合肥市人武部，改为连队建制，属市警备区领导。1976年1月1日，根据省革委会、省军区《关于县、市中队建制交由公安机关领导问题的通知》精神，原属部队建制的五中队改编为人民武装警察合肥市中队，其人员、武器装备、文件档案、以及执行逮捕、看押任务等均划归市公安局管辖。
1976年4月，根据市委(76)16号文件精神，市局增设武装民警科，负责武警中队干部、战士的管理教育，军事、业务训练、后勤供给等工作。武装民警科，序列八科。1978年2月，改为六科。
1982年6月19日，中共中央决定将公安部门的内卫执勤部队，边防部队和县、市中队，以及公安部门原来实行义务兵役制的消防警察统一起来，重新组建中国人民武装警察部队。1983年，合肥市重新组建武警支队，由市公安局武装民警科及所属中队、市消防大队、省公安厅六处直属一大队一、二两个中队组建成立。
武警市支队直属市委、市政府和市公安局领导，同时接受省武警总队领导。市公安局长担任支队党委书记和第一政委。武警部队所担负的各项勤务工作，归公安机关部署和指挥。
武警合肥市支队为正团级单位，设正、副支队长各1人，政治委员1人。1992年4月，武警支队落实新编制，这支部队主要担负合肥市各劳改、劳教、拘役、收审场所的看守、看押和重要目标、会议、首长(重要外宾)的警卫以及市区治安巡逻和临时性的公安保卫工作任务。