青帮、红帮均为近代民间秘密结社，其组织成员大多是破产农民、失业手工业者及流氓无产者。
青帮本县青帮组织始于抗日战争初期，由沿江“三大王”（天王、地王、鬼王）之一“鬼王”章新安为头目，章身兼乩坛“传德院”坛主及“大刀会”、“小刀会”首领，以乌石陇（今属黄山市）为据点，向县内外扩充势力，声称“三千门弟子”。县内其他乩坛组织及“同善社”内部亦有青帮势力，其组织成员大多采取迷信及暴力手段敲榨百姓、残害乡里。建国后，此类组织均被取缔。
红帮本县红帮组织形成于二十至三十年代，始由红帮头目侯玉山（又名侯老五）为首，在丁香、小河、莘田、七里等地发展成员。民国15年（1926）后，侯玉山与其门徒洪国顺互相勾结，向邻近乡村网罗人员扩充势力。民国38年，匪首洪国顺以红帮成员为核心，组织“中国人民自济军池徽边区游击指挥部”，进行武装暴乱。1949年10月，这支土匪部队被人民军队歼灭，匪首洪国顺毙命。