太平军
咸丰三年十二月，太平天国西征部队分兵约万人，在春官正丞相胡以晃，殿左一检点曾天养率领下，自安庆、舒城至庐州，经激战，于咸丰四年一月攻占庐州城(今合肥城)。4月，守军主将胡以晃(曾天养于二月率部溯长江西上)为了守卫庐州城，在大蜀山麓构筑堡垒，分兵把守；又在城西二十里铺构筑堡垒，抵御围城清军的进攻；同时分兵数千驻守三河镇。九月，夏官又正丞相周胜坤取代胡以晃任庐州守军主将，其副手为秋官又副丞相陈宗胜。胡以晃则奉命率部驰援湖北战场。此时庐州城守军数千。咸丰五年十一月十日，庐州城为清军和春部攻陷，守军退往三河镇。咸丰六年九月十五日，三河镇亦为清军和春部攻陷，守军退往巢湖。
咸丰七年八月二十三日中午，太平军前军主将陈玉成率军再次攻克庐州，又分兵占领店埠、梁园，以殿左五检点吴如孝率部守卫庐州城，以吴定规率部守卫三河镇。自率主力东进。十一月三日，清军悍将李续宾部围攻三河镇，陈玉成迅速会同李秀成部回师三河，全歼李续宾部。
咸丰九年初，太平军放弃梁园，固守店埠、三河、庐州三地。咸丰十一年九月，陈玉成率兵数万退守庐州，随后分派部将各率所部远赴西北招兵，导致守卫合肥地区兵力单薄。其后，陈玉成部被围庐州，外围据点三河、店埠先后丢失，经过数月激战，终因寡不敌众，于咸丰十二年五月十三日，放弃庐州，率余部2000余人退往寿州，从而结束了太平军驻守合肥的历史。
清军
在正常情况下，庐州府城及周围只驻绿营“庐州营”一营。咸丰三年三月，太平军西征到了安徽，清政府为避兵锋，将安徽省治从安庆迁至庐州，庐州地位益显重要。十二月，太平军胡以晃率部逼进庐州，清廷新任安徽巡抚江忠源自汉口率兵数千往庐州省城赴任，沿途分兵，带至庐州城的部队为2700余人。咸丰四年一月，太平军攻陷庐州城时，江部被全歼。太平军据守庐州城后，清军围城达2年之久。围城清军为江南提督和春率领的部队，内含和春本部2300余人，副都统萨炳阿部3000余人，镇远总兵秦定三部2000余人，新任安徽巡抚福济(原巡抚江忠源城破自杀)部1000余人，副都统麟瑞所率骑兵2000余人，共万余人。
咸丰五年十一月十日，清军攻陷庐州城。咸丰七年一月，太平军陈玉成部再次逼进庐州，清廷以安徽巡抚福济率兵1000余名会同合肥团练守庐州城，另派总兵嵩瑞驻守三河，稍后又以参将图克坦布带兵勇1000余人驻守三河，调嵩瑞守庐州，原在合肥驻扎过的寿春镇总兵郑魁士，和春部总兵吉顺等又率兵前来防卫庐州。另有安徽巡抚李孟群率团练万余人助战，终不能奏效。庐州再次为太平军克复后，上述清军仍在合肥地区及附近地带与太平军作战。合肥官属民团周盛波、李元华、潘鼎新、刘铭传等部亦参加清军作战。
咸丰十一年，陈玉成部退守庐州。攻城清军又加上荆州将军多隆阿大军和钦差大臣袁甲三部。同治元年五月，庐州再陷。十一日，进驻庐州的清军为梁美才所率的3个营，约2000人。同年十二月，进入庐州地区接防的清军为湘军萧庆衍8个营，约4000人。太平军与捻军失败后，合肥驻军恢复和平时期规模，仅有绿营“庐州营”一营，编制659人，但实际不足额。清末民初，另有江防营等清军驻防合肥。