县内梨山乡下阳、砖桥乡陈家边等古遗址出土的一批石石奔、石斧、石铲等石器和印纹陶片证明，远在新石器时代（约１００００～４０００年前）广德这块土地上就有人类活动。
汉袁康《越绝书》载：“乌程、余杭、黝、歙、芜湖、石城以南，皆故大越徙民也，秦始皇刻石徙之”。又云：“徙大越民置余杭、伊攻、故鄣”等……时广德在该地域内，大越民当有徙入。汉末隋唐时，境内越民被称为“山越”人。
此后直至清初，广德人口流动情况鲜见于史书志乘，仅从民间收藏的宗谱族牒中得见一斑。
《濮阳氏旧谱序》称：“广德著姓濮阳氏唐末时居淮阳以南，渡兵乱，渡江家于广德……濮阳氏宗族繁衍城西，烟火相望皆其裔也”。
《张氏宗谱》载：“张氏世居禹州……族之来于桐者，自永德公始，公讳伟，建炎名将……为南宋招讨使，奉命讨贼，道经桐川，殁于王事，卜葬城东。公生三子……次子念二公居同境南来境，三子念三公来独树圩而沙塘村”。
《范氏宗谱》云：范仲淹初官广德时有四子，在其离任经年后，其三子纯礼之子宏来广德游历，乐此山川秀丽，遂不复姑苏故土，卜居城西之石鼓溪。其二子纯仁裔孙簋，因患金兵南侵，亦自秣陵迁居桐溪之月塘旗杆村。
以上引文表明，在史载的唐末至五代以及北宋“靖康之变”后的几次北方人口南徙的高潮中，都曾有北方居民因避战乱等因而迁入广德定居。
清咸丰十年（１８６０）二月至同治三年（１８６４）七月，清王朝调集重兵，会同地方团练数万众，在以广德为中心的地带与太平军激烈争战近五年之久，州城（今县城）曾多次易主。清军、地方团练以及太平军叛军更是烧杀抢掠，无恶不作。同治元年（１８６２）六月，太平军保王童容海叛变投敌后，率兵攻占篁竹保（今清溪乡蔡家岭南），大肆屠戮，一时遇害者万余人。恰在此时，广德这一带又发生了病疫。《广德州志》载：“同治元年（１８６２）大疫，先是州民在贼中困苦流离，死亡过半。至是又病疫，五月至八月，积尸满野，死亡殆尽”，“几数十里无人烟”，“州民户口旧有三十余万，贼去时遗黎六千有奇”。咸丰九年（１８５９）广德人口为３１２６１４人，同治四年（１８６５）广德土民仅存５０７８人，另有客民（移民）１２５０人。六年之中，广德就有３０余万人死亡或流落他乡。
嗣后，境内形势渐趋稳定。清王朝为维持其统治，令地方速筹措“招集流亡，垦辟田亩”事宜。于是，州内设劝垦局多处，“出示招垦”，并推行“插标划田，立界为山，据室为家”等鼓励移民垦荒的政策。即凡无主田山、房屋，移民均可自行划分，具册呈报领凭后便为己产。“各邻省之民络绎来归，坌集境内”。从同治五年（１８６６）到光绪五年（１８７９），人口骤增至１２９５４８人，其中土民１９９８１人，客民１０９５６７人。这次规模空前的移民活动一直持续到清末。这批移民多来自河南的光山、罗山、商城、固始；湖北的荆门、钟祥、孝感、南漳以及本省江北等地。当时人口籍贯“湖北居其四，河南居其三、浙江居其一，江北居其一，他省及土著共得其一”，河南来的移民多住在西北乡平畈区和丘陵地带，因而生产恢复和发展较快，人口繁衍亦快。至民国３０年（１９４１）前后，人口籍贯构成遂又变为“河南居其六，湖北居其二，江北居其一，他省及土著共得其一”。广德因此而有了“小河南”之称。
抗日战争期间（１９３７～１９４５年），广德战事频繁。许多人逃往宁国、徽州等地栖身，具体人数不详。战后大都陆续回归。
１９５８年特别是１９６８年至１９７７年，上海、芜湖等市知识青年１１３５７人先后来本县农村插队落户，后经升学、参军、招工、顶替、病退等途径先后回城安排工作。１９６９年合肥、芜湖等地干部偕家属１８９９人下放本县农村落户，１９７８年前后也都落实政策陆续返回。１９７０年前后，江苏省国防工办在广德兴建三线工厂，一批干部、工人及家属随迁本县入户。１９８２年７月达５２２２人。１９８６年这批人又随厂全部迁回江苏。１９８０年以后，四川、云南、贵州等地的一些青壮年妇女，通过婚嫁等渠道陆续来本县落户。