清光绪三十一年（1905），清政府下颁“立停科举，以广学校”的诏令。泗县自光绪三十四年起，先后办起两等小学堂、高等小学堂各1所，初等小学堂6所。其中设在现辖区域内的有：
泗虹初等小学堂，光绪三十四年开办于州治东文昌宫内（今县人民政府院内），甲、乙2班，学生80人。
泗州官立高等小学堂，设在北关察院旧址（现供销合作总社所在地）。宣统元年（1909）初办时有1班，学生40多人。次年发展到2班，学生80人。
宣统三年，辛亥革命发生，上述学堂停办。
民国元年（1912），泗县有小学5所，其中较有名的3所：一是原泗虹初等小学堂恢复改建的“泗县县立同盟小学”，设甲、乙2班，每班学生40余人；二是原泗州官立高等小学堂恢复改建的“泗县县立第一高等小学”，设甲、乙、丙、丁4班，每班40多名学生；三是新办的“泗县县立同盟女子小学”，设在文昌宫前院，2班，学生80多人。之后，泗县小学不断发展，民国2年7所，4年20所，5年24所，6年29所，7年43所，8年68所，9年140余所，为泗县早期小学发展的高峰。
民国10年起，由于自然灾害、军阀战乱以及土匪抢劫的影响，泗县小学渐次衰减。10～13年，与9年相较，小学递减80多所。14～15年略有回升。后又连年下降，到18年减到30所。19年增加12所。21年达51所。22年续增到62所，在校学生4451人。23年又减至58所，在校学生4097人。
民国27年秋，日本侵略军人侵泗县，沦入敌区的小学停办，大片非沦陷区的小学，在国共两党一度合作抗日的有利条件下，得到坚持和发展。据28年统计，全县小学52所（其中乡镇小学31所），在校学生2170人。
民国29年2月，主政皖东北的安徽省第六区行政督察专员盛子瑾动摇出走，上述小学由泗县新建的抗日民主政府接收管理。
民国30年12月，当时以泗县为中心，划片建置的几个边区县共有小学150所（完小22，初小128）、224班，9020名学生，教员262人。其中泗南县小学74所（完小11，初小63）、129班，在校学生5053人，教员150人；泗宿县小学38所（完小4，初小34）48班，在校学生1645人，教员48人；泗五灵凤县小学16所（完小4，初小12）、16班，在校学生800人，教员18人；半城直属区小学18所（完小2，初小16）、23班，在校学生1130人，教员27人；洪泽湖小学4所（完小1，初小3）、8班，在校学生392人，教员19人。31年起，小学续有发展，到33年，仅泗宿一县就有小学100余所，学生4000多人。泗县分属于泗南、泗宿、泗五灵凤、泗灵睢等边区县的现有区域范围内，到抗战胜利前夕，计有小学63所（完小6，初小57），在校学生5067人。抗战胜利后，续办南关女子小学1所、6班，学生125人；泗城市小学1所、5班，学生200人；从半城迁来雪枫小学1所、6班，200名学生（均是烈士、干部子女）。至此，全县现有区域内共有小学66所、143班，在校学生5592人。
上述抗日根据地的小学，办学形式多样，除经济条件较好的地方实行全日制外，偏僻贫穷地区大部采取半日制、间日制的教学形式，或者以田间、湖坡、牧场当课堂，把儿童分成小组，让其轮流学习，轮流劳动。为适应农村生产需要，全日制小学还实行过一年三学期制，即每年3月1日～5月31日为上学期，6月21日～9月15日为中学期，10月1日～次年1月15日为下学期。取消暑假，改放年假、麦假和秋假。三伏最热时，只上半天课或缩短上课时间。各小学特别注重爱国主义思想教育，发动学生参加学生救国会、儿童团，组织学生为抗日站岗、放哨、送信、查路条。建立歌咏队、秧歌队，经常开展具有抗敌斗争内容的文艺宣传活动。为适应对敌斗争需要，平时坚持集中课堂教学，敌情严重时，化整为零，采取小先生制，开展分散隐蔽的小组学习活动。
此外，民国27～34年间，泗县日伪占领地区也办有小学16所、48班，在校学生1454人，教职工67人。其中设在泗城的3所：一所是27年冬南关天主教堂创办的私立崇正小学，分男、女两校，男校在东院，6班，250名学生；女校在西院，5班160多名学生。一所是28年春日伪政府开办的，设在夏邱书院旧址，初名日语学校，后改称模范小学。一至六年级6班。学生近100人（一、二年级40多人，三、四年级30多人，五、六年级20多人）。还有一所是32年9月建立的帼光女子小学，校址在南关福音堂内，2班，80多名学生。民国34年秋，日本投降，上述小学解体。
民国35年秋，国民党重兵进攻解放区，泗县解放区小学先后停办。这时，县国民政府又陆续办起中心国民学校34所、135班，2581名学生；国民学校100所、150班，6890名学生，为泗县小学发展的第二个高潮期。37年秋，泗县解放前夕，这些小学全部停办。同年11月，县人民政府主政后，陆续恢复旧有小学33所，新办小学96所（内有部分私塾转办的小学）。到民国38年9月，全县小学达129所、201班，在校学生6585人，教职工250人。
建国后，小学续有发展，1952年，全县小学达289所，是建国前夕的2.31倍；学生19651人，接近于建国前夕的3倍。这些小学都坚持学校为工农开门，优先招收工农子女人学，对家庭经济有困难的工农学生给予减免学杂费。1949、1950两年，全县暴雨成灾，各小学都坚持教学与生产救灾相结合，实行轮班教学、分散教学和湖坡教学。同时组织学生开展纺纱、打席、拾草、拾粪等勤工俭学活动。1950年第二学期，据大庄、屏山、黄圩、长沟、沱东、汴河、刘圩7区统计，小学勤工俭学收入为2937.835万元（旧人民币）。
1953～1957年，贯彻执行“整顿巩固，重点发展，提高质量，稳步前进”方针，对已有小学进行全面整顿，并重点发展一些小学。1957年，全县有小学323所（完小50，初小273），在校学生31575人，同1952年比较，学校数和学生数分别增长8.38％和60.67％。各小学教学质量也有很大提高，1957年，全县2004名报考初中的高小毕业生，各科成绩总平均83.5分，其中最高平均分94.5分，最低平均分72.5分。1954、1957两年，全县还指导、安排2878名未能升学的高小毕业生走上了工农业生产岗位。
1958年，全县小学发展到450所，在校学生44652人，但因反右派斗争扩大化，不少教师被错划为右派分子，加之反“右倾”、拔“白旗”，在教师中批“白专道路”，在学生中批“智育第一、分数挂帅”，学校数度停课大炼钢铁，秩序混乱，教学质量一度下降。
1965年，小学大发展，全县达1060所（完小78，初小982）、1761班，在校学生62143人。其中实行半日制、间日制以及早、午、晚班办学形式的耕读小学班776个。同1958年相比，学校数增长1.35倍，学生数增长0.39倍。
1966～1976年，全县小学管理体制和教学设施被破坏，教学人员有的被打成“黑帮分子”，集中起来“劳动改造”，有的调回原籍，接受贫下中农“再教育”，各校纪律废弛，秩序混乱，教育、教学质量严重下降。
1978年以后，加强党对学校领导，为错划右派和被打成“黑帮分子”受到错误处理的教育工作者改正和平反，贯彻“调整、整顿、巩固、提高”方针，面向全体学生，注重“双基”（基础知识、基本技能）教学和思想品德教育，教学质量稳步提高，师生精神面貌发生显著变化。城关第一小学两个学雷锋小组，多年如一日，给第三居民委员会的徐大娘、朱奶奶两位烈属老人挑水、买面，打扫环境，胜似亲人。1981年，大庄朱祠小学三年级学生郝庆金在上学的路上，拾到一个1752元的存款折，立即交到学校送还失主。小学经过调整、整顿，1985年巩固到452所、2579班，在校学生102283人，学校数和学生数分别是1949年建国初期的3.5倍和15.53倍；与民国36年泗县（包括现已划归江苏泗洪和本省五河县管辖的区域）小学发展的第二个高潮期相较，学校数和学生数分别增长2.37倍和9.79倍。