远在晚太古时期(约25亿年前)，县境处于一片汪洋大海之中。其间，海底逐渐堆积一套万米以上的浅海相沉积物。尔后，“大别造山运动”(地史上称为吕梁造山运动)使其褶皱隆起，上升为陆地。在长达18亿年的时间内，县域处于被侵蚀剥蚀之中。到中生代晚期(距今约1亿年)，“燕山运动”波及县内，使今源潭一牌楼一带深断裂，产生升降差异性运动。其西北部相对抬起而形成高山，东南部下降为断陷盆地，称为“潜山盆地”。继后，该盆地逐步堆积厚度大于2000米的陆相碎屑沉积物，称为“红层”。
新生代第三纪后期(距今约6000万年)，湖水全部退却，全境变为陆地。此后，随着时间的推移，地壳几经升降，经内外营力的作用，形成了河流纵横、山脉起伏的现代地形地貌。在盆地和山谷边缘长期沉积了第三系和第四系地层，在河流两侧和丘陵咀部堆积了一般厚度为3—20米左右的松散沉积物，形成了后来的农田。