一、书院
据清道光六年《繁昌县志》记载，明天顺年间，县治迁至金峨上乡后，遂在北门建丛文书院，清顺治年间已废。明万历二十五年(1597)，知县吴桢重修同仁书院，该书院位于旧县治公廨。清康熙三年(1664)，于县治北门龙亭街姚氏宅屋建龙门书院，道光年间，书院已废。清乾隆三十年(1765)，知县林一彪于县城北门筹建书院未果，即调任宣城。越四年，知县毛廷锦等建成书院，取名鹊江书院。嘉庆二十年(1815)，鹊江书院日渐倾圯，知县曹德赞自捐俸银，筹集资金，扩建改修，并易其名曰“金峨书院”。
明、清时期，境内还有社学和义馆各一所。
二、私塾
民国18年，《一年来安徽之教育》刊载：“繁昌县私塾共达144所，塾童1132人，女254人”。抗日战争前夕，已有私塾200多所。抗战胜利后，仅城厢就有十几所。1949年上半年，全县私塾还存306所，学生3550名。
境内私塾，以蒙馆最多，经馆屈指可数。前者以教《三字经》、《百家姓》，识字为主；后者读讲四书、五经，学做诗文。私塾教学，重在读书、背书、作文、习字，而以背书最为重要，学生死记硬背，囫囵吞枣，不求甚解。先生对学生管教极严，打骂跪站，已然成风，而尤以蒙馆为最。经馆中有的先生颇重师德，严谨教学，时时以培育英才为念。在长期实践中，为社会公认的名塾师亦为不少，如任图南、邓则先、姚彩奇、汪学洋、章可祯、徐钻铎、董志周、董梅村等。
民国时期，政府虽对私塾旧制进行过几次改良，但收效甚微。1949年，有107所私塾停办或改为全日制小学，尚剩199所。1950年，私塾减少到40所。1951年，全部改为民办小学或并入附近小学。