琅琊山区域构造位置，在扬子准地台、下扬子凹陷区北东端。
扬子凹陷区自震旦纪（距今约8—6亿年），至志留纪（距今4.4—4亿年）时均为下扬子海。
在古生代寒武纪、奥陶纪（距今6—4.4亿年）的海中沉积了近三千余米的碳酸盐岩。
距今4亿年后，随地壳运动琅琊山上升为陆地。中生代三叠纪期间（距今2.3—1.8亿年），复受地壳运动影响，形成褶皱及断裂构造，琅琊山的基本轮廓已形成。
琅琊山山体基岩，主要由震旦纪白云质灰岩及寒武纪、奥陶纪的灰黑色、灰黄色薄层至中厚层，含泥质、砂质、白云质的石灰岩组成。并含有琅琊山虫等三叶虫及海棉化石。尤在南部奥陶纪灰岩中，含有丰富的腕足类及角石化石。
琅琊山山体的岩层走向，呈北东——南西分布。沿丰山——赵家山两侧，岩层倾向相向而生，构成醉翁山向斜，岩层倾角60°——80°,局部地区岩层直立及倒转，构成小的倒转背斜。
沿尖山——鸡爪山一带，岩层倾向南东、北西，倾角70°——80°，由震旦纪地层构成的背斜，局部呈倒转。
区内断裂构造发育：断层主要走向多为北东——南西，最大断裂自大半山——丰乐亭一带，约3——4公里，为一压扭性逆断层。同时，在岩层中小的裂隙也很发育，裂隙方向多为北东、北西、北北东，裂隙倾角50°——70°。
在山岭边缘盆地及阶地上分布有中生代的火山岩及火山碎屑岩。局部地区亦见红色砂砾岩。