为配合党在农村开展“四清”(即清政治、清经济、清组织、清思想)运动，1965年4月，在县城召开首次全县贫下中农代表大会，选举产生潜山县贫下中农协会筹备委员会，设主任委员(兼)1人，委员若干人。由此，县内各公社、大队相继建立贫下中农协会。1966年5月以后，各级贫协会工作停滞。1968年10月，成立潜山县贫下中农代表大会委员会(简称“贫代会”)。1970年4月，县“三代会”分别召开第二次代表大会，“贫代会”也选举产生第二届委员会。1973年4月，撤销“贫代会”，恢复“贫协会”建置，7月，在县城召开第三次贫下中农代表大会，选举产生潜山县贫下中农协会第三届委员会。其间，县内各区、社都配备有专职“贫协”干部。1982年3月，县贫协会与县委农村工作部合署办公。1984年9月，县贫协会被撤销，区、乡“贫协”干部转入其他行政工作岗位。