周元王六年（前 476 ）置中牟邑，中牟城北五里有牟山，高仅丈余，绵延数十里。据《大清一统志》：“邑之得名于此。”高祖十二年（前195），单父圣封中牟共侯，为侯国。武帝元鼎五年（前112）废侯国为中牟县。属河南郡。东汉、曹魏因之。西晋（265—317 年）中牟属荥阳郡。怀帝永嘉四年（310 年）后，沦于十六国中的前后赵等国。南朝宋，北魏仍属荥阳郡。 东为天平初（534 年）为广武郡治所。北齐天保七年（556 年），复属荥阳郡。北周武帝保定五年（565 年）迁县治于圃田。隋开皇元年（581 年）为避文帝父讳，改中牟为内牟。三年，属郑州。

十八年改内牟为圃田，大业二年（606 年）移圃田治于中牟城。三年，属荥阳郡。唐武德元年（618 年）改圃田为中牟。三年为牟州治所。四年，属管州。贞观元年（627 年）废管州，撤清池县，入中牟，中牟改属汴州。龙朔二年（662 年）改属荥阳郡。后梁割中牟属开封府。后唐同光三年（925 年）还中牟于郑州。后晋晋中牟又属东京汴州。北宋属开封府。金属南京开封府。元属汴梁路。明清仍属开封府。 1913年属豫东道。1928年直属河南省。1932年属河南省第一 行政督察区。1949年属陈留专区。1952 年6 月，郑州、陈留专区合并称郑州专区，中牟属之。是年郑州专区改称开封专区。1970年属开封地区。1983年7月，改属郑州市至今未变。