广德县的方言在历史上应该是属于吴语的。这不仅因为广德春秋时为桐地，两汉时与今天仍为吴语的浙江省安吉县、长兴县(一部分)曾同属丹阳郡故鄣县，而且从今天广德土著人保存的土话看，它与安吉、长兴等地话仍为同一体系。
造成今天广德方言复杂面貌的主要原因是，清咸丰十年至同治三年(1860～1864)，太平军与清军 在广德激烈争战，同时又遭“大疫”，广德居民大量死亡或逃亡。其后，官府招募客民入籍开垦。这样大批的河南人、湖北人、江北皖中人，以及邻近的浙江人迁居广德。他们将各地的方言也随之带入广德。
县内各种方言的分布情况和语言势力的大小，大致是这样的：
河南话说河南话的人大多是从河南光山、罗山、商城、固始等县移居本县的。起初人数约占全县人口的十分之四，是县内势力最强的方言。它分布得很广，今天几乎各乡都有河南籍的人。但总的看来，他们大多集中居住在县的北半部如高湖、邱村、彭村、流洞、新杭、砖桥、独山、赵村、下寺、山北、花鼓等乡。
湖北话操湖北话的移民最初约占全县人口的十分之三。他们大都来自荆门、钟祥、孝感、南漳等地。其语言势力仅次于河南话，是县内第二大方言。今天它主要分布在县境西部、南部的丘陵区和山区。以苏村、石鼓、独树、月湾、杨滩、四合等乡的湖北人最多。卢村、同溪、桃山、梨山、柏垫、凤桥、清溪诸乡除了有较多的湖北人之外，也有不少的河南人。
皖中江北话操皖中江北话的人多数是无为、安庆、合肥等地的人。无为、合肥等地移民多居住在县城里。与战乱后迁回广德县城的少数土著人杂居，安庆移民则集中聚居在东亭等乡。经过百年来的方言同化，形成了约占全县十分之一人口的广德城区江北话。
老广德话老广德话指的是广德土著居民说的话。说这种话的人有的是当年匿居在深山狭谷之中的幸存者，也有的是战后从外地迁回来定居的。他们的总人数不足全县人口的十分之一。今天比较集中居住在卢村乡的甘溪沟，桃山乡的小余里、大洪保，杨滩乡的大月、樱桃冲、裘村，以及同溪乡的宋陈、高庙等地。这种土著话老年人使用较多，青年人有的尚能听懂，但多数人不会说了。
此外，还有不少是从浙江等省迁入本县的温州人和闽南人。他们主要分布在新杭的路东、涧东，双河的苏觉庙，以及独山的朱湾等村。以后陆续迁来本县的还有浦江人，他们大多分布在杨滩、月湾、石鼓等偏远山村。1958年后浙江省在广德独山、新杭建矿采煤，矿区职工、家属多为浙江人，说的是吴方言。
广德的方言可分为两大类六小类。如下表：
官话河南话——中原官话
湖北话——西南官话
江北话——江淮官话吴语老广德话——太湖片吴语
温州话——瓯江片吴语
浦江话——婺州片吴语
这些不同的方言在广德这块土地上经过百余年的相互融合，它们的面貌都出现了不同程度的变化。