地质结构
黄山在大地构造上，处于江南古陆与其以北的下扬子台坳的接触带上，位于这两大地质构造单元的过渡地带。其主要地质构造线与山脉的走向基本一致，均为东北——西南方向。黄山的主体部分为花岗岩类所组成，仅在逍遥溪断裂以南，为晚元古代沉积生成的砂岩、石英砂岩、火山岩、变质火山岩；前山称黄山岩体，芙蓉岭以北，为太平岩体。太平岩体与黄山岩体成南北向椭圆形展布，但二者地貌截然不同。太平岩体为丘陵低岗，土壤复盖；黄山岩体峻峭突兀，蔚为壮观。
黄山岩体平面上作近东西向的椭圆形，长轴方向长约15公里，短轴方向约10公里，面积约107平方公里。岩体按其生成顺序和岩石结构的不同，又分为两部分：黄山花岗岩和狮子林花岗岩。前者占黄山90％以上，形成于中生代燕山晚期；后者位于黄山中心部分(略偏西)，仅有7．7平方公里，形成时间略晚于黄山花岗岩。
黄山花岗岩北至芙蓉岭与太平岩体为界，南至黄山宾馆，东至黄狮垱，西至云门峰(汤岭关以西)。黄山花岗岩多为肉红色，主要组成矿物有长石(红色白色粗粒长柱形)，约占岩石的60％；石英(烟灰色细粒)，约占岩石的40％；还有黑色矿物(黑云母、角闪石)。此外尚含微量磷灰石、磁铁矿等23种副矿物。富含气成矿物如萤石、黄玉等。黄山花岗岩岩体中心是粗粒似斑状结构，占岩体面积90％以上，构成悬崖峭壁、奇峰异谷。
黄山岩体的最大特点是断层和节理发育。经实测的主要断层有：前山的黄山断层，或称逍遥溪断层，由钓桥庵至汤口，自西北向东南延伸，长14．5公里。西南侧(桃花峰一侧)相对上升，东北侧(紫石峰一侧)相对下降，并有数十米水平距离的错动，沿断层线侵蚀成断层谷，逍遥溪主要流经此断层谷。在主断层线北侧，平行并列有数条断层破碎带。中部的莲花峰断层，位于狮子林岩体与黄山岩体之间，作西北方向(280°)延伸，长约3．5公里。后山的蜡烛峰断层亦作西北方向300°延伸，长约7公里，排云亭至西海沟方向亦为一大断层，遗留有断层悬岩。
黄山花岗岩中节理非常发育。按其在平面图延伸方向，主要有四组：西南245°、北偏东9°、西北288°及西南201°。按成因分，有岩浆冷却凝结时的张力节理、岩体凝固后受动力作用产生的节理及温差重力滑动等作用形成的表生节理三类。按形态和产状分，则有立方体节理、垂直节理、纵节理，横节理、X形节理及不规则节理等。
峰林地貌
黄山四周群山起伏，均为低山丘陵，独有黄山出类拔萃，巍然屹立为花岗岩峰林地貌。峰林石柱，雄奇壮观；怪石遍布，千姿百态，是黄山地貌景观的最大特色。
黄山最高海拔1864米(莲花峰)，平均海拔约1600米，千米以上高峰有77个，主峰相对高度多在千米左右。形成峰顶尖陡，群峰林立的中高山地形。
在平面上，除太平岩体分布区多为丘陵低山外，黄山主体地貌分两大区。中心部位为起伏平缓的山顶面区，此区内光明顶与平天矼为古剥蚀面残留，地形平缓，最大坡度约为20°。平顶面区岩石，风化后形成较厚的砂石层，平均2．5米以上，最厚达10米。除中心区外，四周广大地区，则为地形强烈切割区。山体受抬升运动、重力崩解及流水的影响，遭受强烈切割。切割深度多在500——1000米之间，成为悬崖峭壁，凸面山坡，坡陡峰险，险峻处坡度在60°——74°之间，有的则近于直立。
自黄山中心部位，向四周成放射状排列，展布着众多的山间沟谷，有U谷，V谷及谷中谷，较大的有36条，即旧志中所说的36源。这些切割较深的沟谷，自内向外，由深谷渐变为宽谷。
根据峰林地貌的形态，全山又可分为块状峰林、简状峰林等多种。块状峰林，以朱砂、眉毛、鳌鱼等峰为代表。简状峰林，以莲花、天都、莲蕊诸峰为代表。北坡狮子林至芙蓉岭，展布着数条南北方向平行排列的山脊，脊薄如刀刃，称之为刀刃式岭脊。西海排云亭深谷两侧则多是陡悬破碎的峰林。
花岗岩石林、石柱的广泛分布，是黄山地貌又一奇特之处。石林由较多的垂直石柱并立而成，典型的有石笋矼、东海门群峰等。独立的石柱在黄山分布也较多，多分布在峰的边缘，山的哑口或山谷中。石柱即古黄山志中的所谓“石人”，清人方蕴山《石人》诗中有“峰头多石人”之句。
黄山不仅是一座峰林石柱的大观园，而且是奇石巧石的天然陈列馆。其中又有不少是属于“石蛋”型的，如天都峰的仙桃石、仙桃峰上的飞来石等。它们都是裸露的花岗岩，沿着花岗岩的立方节理风化后形成的。
黄山在垂直方向上留存有三级古剥蚀面，是高一级剥蚀面海拔1650——1800米，如光明顶、平天矼等处。次一级剥蚀面为1300——1500米之间，如朱砂峰、紫石峰等峰顶。最低一级的剥蚀面约为600——700米，如温泉一带。山外围两岸河谷也可见三级较平坦的阶地，前山外围高差约100米，后山至太平甘棠一带，则有两级阶地，高差约50米。这些阶地的存在，显示出黄山山峰自第四纪以来，仍有间歇上升的趋势，为新构造运动所造成。南部河滩阶地高差大，显示地壳运动的力量强，带有向北斜掀的性质。
黄山岩体的受内外因素作用，沿垂直断裂长期崩落风化，形成了众多的陡峭群峰。规模较小者，风化成石柱、石林；而沿立方体(或长方体)节理风化则成浑圆或带有棱角的“石蛋”。沿断裂受流水冲蚀的，形成一处处沟谷。至于黄山的洞穴，多为岩块崩落堆砌而成。
黄山无数石景都是花岗岩历经千变万化的产物。这种变化是受一定的规律制约的。主要受断裂的形态、大小、密集程度、地形高度、积雪积水条件影响。“前山雄伟，后山秀丽”的原因，主要是前山断裂巨大而较稀，后山节理密集而多姿，同时风化条件也有差异而造成的。
冰川遗迹
黄山第四纪冰川遗迹，是我国著名地质学家李四光于1936年到黄山考察时首先发现并论证的。立马峰的“冰川擦痕”及其他冰川遗迹，打破了中国东部大陆无冰川的观点。他的论文《安徽黄山更新世冰川现象之确据》发表后，曾得到中外一些地质学家的赞同。
黄山第四纪冰川遗迹，主要分布在前山的东南部。典型的冰川地貌有：冰川移动刨蚀而形成的U形谷(如逍遥溪、苦竹溪)；两条V形谷夹刨蚀残留的薄如刀刃的刃脊(如眉毛峰、薄刀峰、鲫鱼背等)；三面冰斗刨蚀遗留下来的角峰(天都峰峰顶)。百丈泉、人字瀑是冰川支谷与冰川主谷相汇成的冰川悬谷。逍遥溪至汤口、慈光阁、黄狮垱、乌泥关等河谷和河床阶地中，分布有冰川搬运堆积的冰碛层(泥石)；相传是轩辕黄帝炼丹的“丹井”、“药臼”，也是冰川作用而形成的冰臼。
附录：关于冰川说的学术争鸣
1949年后，以南京大学地理系杨怀仁教授、天津地质矿产研究所周慕林高级工程师、安徽省地质研究所陆镜元工程师等为代表的地质地理学工作者，通过专门的调查研究，系统地分析总结了黄山第四冰川遗迹的特征和分布规律。
对于黄山第四纪冰川遗迹的存在，有人曾提出质疑。近年来，又有些人怀疑或否认。1982年10月在黄山召开的中国第四纪冰川冰缘学术讨论会、1983年12月在南京召开的中国第四纪自然环境讨论会上，以中国科学院冰川冻土研究所施雅凤教授、北京大学崔之久副教授、中国科技大学黄培华副教授为代表，对黄山第四纪冰川遗迹的存在，提出种种异议和否定性意见。
他们认为，黄山现代地貌的形成，非受冰川影响，黄山地区没有发生过第四纪冰川。对于立马峰崖壁上的擦痕，他们认为不是冰川移动时遗留下来的，而是花岗岩结晶析离出剥蚀部分或其他原因所致，对于原认为属于冰川地形的角峰、冰斗、U形谷等都持不同的意见，认为与一般地质地貌现象无明显区别。对于冰碛层中的冰碛石，则认为属现代山洪暴雨后的泥石流堆积。
两种观点争论的焦点，归结到第四纪更新世时，古地理古气候的条件，是否能使黄山高峰有终年积雪不化的冰期发生。两种观点虽然都认为，数十万年前的黄山地区气温比现在低，但反对意见认为，气温还没有低到终年积雪的程度。对于黄山在更新世时期海面的位置、雪线高度，是否有湿冷气侯生物的存在等，也有不同的认识。这些学术上的问题，有待地质学家继续研究和探讨。