岳西县名由来文献记载有两说：一说因山命名。民国25年(1936年)《安徽民政工作纪要》第76至77页记载：“(二)成立岳西县治……新县区域，适居潜岳之西，即以岳西名县。”“潜岳”指潜山天柱峰，此说流传广泛，符合岳西地理方位，文字记载与建县同期，足以征信。
另说因人命名。民国37年版《中华年鉴》下册第779页记载：“中央为彻底绥靖地方，特将鄂豫皖边区之金家寨置为立煌县，瓦屋岭置为岳西县(属皖省)，新集置为经扶县(属豫省)，汪洋店置为礼山县(属鄂省)，以办理善后，立煌为表彰卫立煌之战功，岳西为纪念剿共殉职之岳维峻(西峰)，而经扶则为表彰刘峙之功勋。”岳维峻，字西峰，曾任国民二军军长、国民革命军新编第34师上将师长。民国20年3月，充当蒋介石大别山剿共急先锋，于礼山县(今大悟县)双桥镇被红军俘获，后于经扶县(今新县)新集镇毙命。岳西峰未曾到过岳西县境地，岳西也无瓦屋岭地名，因此以岳西峰之名名县与今岳西县无必然联系，难以令人置信。但此说流传颇广，有老红军、历史教师、地名研究人员多次致函安徽省政府，坚持此说，要求更改岳西县名。省政府责成本县调查核实，本县于1956年、1965年、1985年先后三次组织人员调查。1985年由省地名办、县志办、县民政局组成联合调查组，赴京、沪、宁、鄂、豫、皖及有关县市档案、史志部门调查，后以县志办人员为主，撰写详细的调查报告和《岳西县名新考》(《安徽史志通讯》1985年第4期发表)。调查报告和《新考》文章认为，《中华年鉴》中的文字记载存在三个疑点：第一，建县时间不明确，4县为3个年份所建，《年鉴》概而述之，略嫌笼统；第二，建治地点有出入，岳西无瓦屋岭，而岳西峰被俘的湖北礼山县(今大悟县)双桥镇边有个小地名“瓦屋岭”，如当年在礼山县建岳西县尚无非议，而“漂泊”到今之岳丙建县，不免有移花接木、似是而非之嫌；第三，取名方法不一致，立煌、经扶两县均取卫立煌、刘峙的名字名县，而岳西取其姓和字号中一字名县，这种形式实属少见。再说，岳西建县时的安徽省主席刘镇华与岳维峻早有仇隙。民国13年，岳维峻率国民二军于河南一举歼灭刘镇华的憨天琨部。15年3月，直奉联军攻击国民二军，岳维峻退往陕西，经过豫西时，被联军陕甘总司令刘镇华号称十万的镇嵩军打得人败，岳维峻只身逃走，被晋军俘获。蒋冯阎大战之后，岳维峻、刘镇华虽都改换门庭，投靠蒋介石，但之前双方摩擦两年之久，彼此消长，共损兵20万的夙仇难遣于怀。岳西县治是在刘镇华主持下筹划的，刘镇华是否同意岳西为纪念岳维峻，是否从中作梗，现不得其详。因此，以人命名难以定论。调查中发现《安徽民政工作纪要》中以山命名的记载，文献时间与建县同期，比《中华年鉴》早12年，“地近则易核，时近则迹真”，可以认定岳西是因“潜岳之西”命名。
1985年8月，县人民政府常务会议讨论，同意调查报告观点，认定以山命名来历，决定不改县名，后经县人大常委会复议，报告省政府，省政府办公厅函复，原则同意岳西县人民政府的报告意见。