晋园位于今楚湘街一带，清顺治十八年（1661）李文岸所筑。李文岸，即李先登，字文岸，善化贡生，当过湘乡教谕的小官，清以后，绝意仕途，遂在自家的废墟上，除去瓦砾，栽木种竹，辟为园林，名晋园。“晋”为《周易》六十四卦之一，《易·晋》曰：“晋，君子以自昭明德。”晋园之“晋”，即取此意。

李文岸的好友，长沙拔贡江有溶作有《晋园记》。记曰：“晋园面岳麓，抱湘流，朝晖夕爽，宜乎人文蔚起，藉甚楚南。”先生自入清以来，“门庭萧寂，终岁掩扉，虽迹寄市城，而心游壑。然自入居晋园以来，神日益旺，貌日益日卒，著述日益多”。其时李文岸虽年逾七十，但“间遇花发茗清，与同志徘徊风月之下，飘鬓缓步，望之如神仙中人”。园林之功，神哉。