霍山县辖13个镇、3个乡：衡山镇、佛子岭镇、下符桥镇、但家庙镇、与儿街镇、黑石渡镇、诸佛庵镇、落儿岭镇、磨子潭镇、大化坪镇、漫水河镇、上土市镇、单龙寺镇、东西溪乡、太平畈乡、太阳乡，县政府驻衡山镇。

汉元封五年（前106年）置县，隋朝始称霍山县。霍山县“软黄金”霍山石斛名列“中华九大仙草”之首，并成功入食入药。霍山黄芽早在唐朝被奉为御用贡茶，今与黄山、黄梅戏并称“安徽三黄”，两次列入中欧地理标志协定保护名录，获评中国黄茶之乡。