前身为焦作市郊区。1990年经国务院批准，原郊区更名为山阳区。因始建于战国初期的山阳城而得名。

2005年，将修武县的李万乡划归山阳区管辖。

2000年，山阳区辖7个街道、3个乡。根据第五次人口普查数据，全区总人口233639人，其中：东方红街道 36088人、焦东街道 20858人、百间房街道 9234人、太行街道 19516人、艺新街道 30792人、光亚街道 25494人、定和街道 17598人、百间房乡 19765人、恩村乡 32343人、李万乡 21951人。

2005年，山阳区乡镇区划调整：撤销恩村乡，设立新城街道办事处，管辖原恩村乡行政区域，办事处驻恩村三街；撤销百间房乡，设立中星街道办事处，管辖原百间房乡行政区域，办事处驻庙河村；撤销李万乡，设立李万街道办事处，管辖原李万乡行政区域，办事处驻神州路。

截至2005年12月31日，山阳区辖10个街道：东方红街道、焦东街道、百间房街道、艺新街道、定和街道、太行街道、光亚街道、新城街道（新增）、中星街道（新增）、李万街道（新增）。其中，李万街道委托高新区管理。