麻山区共辖2个乡级行政区，包括1个街道、1个镇，分别是麻山街道、麻山镇。区政府驻麻山街道。

1947年始设麻山区，因本地山多、山上碎石多，石上均有密密麻麻的坑点，因名麻山。