马鞍山市境内丘陵主要分布在东部，逶迤相连，峰谷相间，一直向东延伸到江苏境内。丘陵中海拔最高（274.7米）、位置最东的是土山头，位于濮塘镇与江苏江宁县的分界线上，土山头以西是老牛山、天马山、神堂山等。这些绵延起伏的山岗林木葱郁，层峦迭翠，为马鞍山主要林区之一。
东南部以海拔221米的大黄山为中心，分布着一系列互相间断的山丘，如烤山、马山、大象山、董耳山等，还有因开矿已经或正在消失的南山、向山、凹山等。这里蕴藏着丰富的铁、硫、磷、钒等矿产资源，是马鞍山市最重要的矿区。
西部沿江地带分布着一列东北—西南走向的弧状小丘，依次为慈姥山、马鞍山、白壁山（人头矶）、西山、望夫山、宝积山、翠螺山。这些山峦，原是临江而立的断崖山丘，由于长江河道变迁，泥沙沉积，现除翠螺山外，其余均远离江水。
北部与江苏江宁县接壤的边界线上，分布着洪幕山、戴山、娘娘山等山岗，其中娘娘山较高，海拔214米。
中部有两座郁郁葱葱的山丘兀立在城区，在雨山湖东侧为佳山，西侧为雨山。