市南区建置始自德国侵占青岛时期，所辖区域却有较长的历史，早就汇入了青岛历史的主流。从明初以来，一直以优越的区域优势在政治、军事、商贸、旅游、居住诸领域居统领地位。元末明初，倭寇时常侵扰中国沿海地区，山东的登、莱二州屡遭其害。从明洪武二年(1369)至洪武七年(1374)，倭寇先后6次袭掠胶州湾，烧杀抢掠，曾造成一时“舟楫不通”。针对这种外患，明朝初年在沿海地区设立卫、所，以加强沿海防御。洪武二十一年（1388）在即墨县东海边筑城设防建鳌山卫，下辖浮山所（全称：浮山备御千户所）、雄崖所。“所”的规模比“县”大，州府级，由“千户”（正五品）掌管。

    今市南区辖区中心的浮山所从洪武二十一年（1388）立所到清朝雍正十三年（1735）裁所，这360年之间，作为海防军事重镇，一直在今青岛市内四区（市南、市北、四方、李沧）及城阳区、崂山区西部这个大范围内设寨设墩设堡驻兵布防。

    有了浮山所等卫、所作为军事安全屏障，部分内地（据传多是云南、贵州、山西）人才放心地迁移来到胶州湾东畔定居。从明朝永乐以后，在莱州府即墨县以南、崂山以西一带聚集了大批定居移民，今市南区范围就陆续建了上青岛村、下青岛村、会前、小泥洼、小湛山、大湛山、田家村、大尧、逍遥、张家庄（后改名为亢家庄）、丁家庄、辛家庄。偏樊海陬出现了生机。人们在农耕的同时，也把创业的眼光投向大海。明成化三年（1467），在青岛口北岸立建天妃宫（后改称天后宫），每年农历正月在这里祭拜，以求海上打渔商旅平安。
　　明朝嘉靖年间，王士性《广志绎》一书中有“青岛”一词，作为一个小岛的名字首次出现于文献中。
　　明朝万历六年（1578）即墨知县许铤上书朝廷，提出开放海上运输，后获准在县境内开放了青岛口(即今市南区域内，天后宫前，栈桥东)，青岛口海运贸易日趋活跃，通商闽、浙、苏、淮。