本县历代人才辈出，文化遗产甚丰。唐有杜荀鹤的《唐风集》，宋有王的《春秋门类通解》，明有毕锵的《偃生集》和吴应箕的《楼山堂集》传世，清有李林的《云里龙》和《松虎图》画迹留存。光绪二十年（1894）杨文会与英人李提摩太合译为英文的《大乘起信论》一直为世人所重。昔县人著述计有一百余件，但历遭兵燹散佚甚多。
旧时，县内群众性的文化娱乐活动多寓于庙会、婚丧喜庆和传统节日之中，常见的有演戏、舞灯、弹唱、对歌、划龙船等。30年代成立县民众教育馆，始有群众文化活动的组织领导机构。
建国后，文化艺术事业发展迅速，1950年冬成立县文化馆和新华书店石埭支店；1952年组建新民京剧团，1955年成立县广播站；1957年建立县电影放映队；1979年7月，成立县图书馆。至1985年，有国家办的文化馆（站）6个，电影院1座，影剧院1座，专业剧团1个；文化专业人员97人，16个，乡（镇）均办了文化站和广播放大站，13个乡（镇）建立了影剧场，1个乡设立了图书发行门市部。
1979年8月，县文化局单独建制，为全县文化事业的行政管理机构。
1952年至1958年和1966年至1985年地方财政拨款用于发展文化事业的经费累计达109万元。