香零山，位于永州市城东5华里的潇水河心，系天然石矶组成的小岛。东西宽约20米，南北长15米。当春流荡荡之季，有如贴水芙蓉,随波明灭；秋高水落时,亭亭孤寺,不可攀跻。雨后日出,烟锁山脚往来舟楫，若隐若现，与两岸的烟云竹树相媲美。云消雾散，风平浪静之时，又别有一番风韵。由于它风景秀丽，因有“香零烟雨”之称。一说零陵之名，就是由于这个石岛演化而来的。

传说西汉元鼎六年（公元前111年），汉武帝开始建立零陵郡时，香零山景色秀丽，盛产一种名贵的香草，形状很象芳香的“罗勒”.清香四溢,胜于椒兰。

皇帝知道了，便定为“贡品”；年复一年，贡品数量逐年减少，香草采尽，仍满足不了皇宫的需要。采集贡草，终于成了百姓的苦役，不少人只好背井离乡。到了唐代，郡守韦宙，将香草采尽的实情奏明皇帝，方获免贡。传到清代，香草就已经绝迹了。

柳诗“双江汇西奔，诡怪潜坤珍。”写的是香零山的险峻。这是由于小岛位于河心，并有暗礁，从前每逢春夏水涨，木排误触礁石，木漂人溺，惨不忍睹。为了“镇邪驱妖”，清同治二年，就在这个孤岛上修建了一座观音阁，招幕和尚住在阁中，还设了救生船，雇有专人管理。每逢涨水，白天鸣钟，晚上点灯，使人知警。这不但减轻了凶险，还增添了小岛的秀色。如今,人们到岛上,远眺，层层峻岭群峰美；近看,粼粼玉带潇水清。特别是小雨初淋，氤雾乍起，小岛忽隐忽现，静静地耸立在烟雨之中，让人感到神密莫测，久久难以忘怀。