高山寺座落于芝山区城内东山上，座东朝西，始建于唐代中期，原名法华寺，柳宗元及范纯仁贬永州时曾寄寓该寺。自唐至元，寺名屡改，明洪武初改现名，明万历初毁于火。万历四十一年（1613年）知县胡延槐倡捐重建，现存寺观为清咸丰丙辰年（公元1856年）重建。寺原有前后两殿，歇山顶砖木结构建筑，前殿左右塑有四大金刚，殿中塑阿弥陀佛，殿后置韦驮之像，后进是大雄宝殿，殿中神台塑如来佛，两侧列十八罗汉，左侧下为观音阁，上方是方丈室，右下为僧室，右上为神龛，祀范纯仁塑像。佛寺之正面左右两侧分别建有钟鼓楼各一座，左钟右鼓，皆二层，高十多米。钟楼上悬大钟一口重两千余斤，明嘉靖己巳年（公元1543年）铸造。每逢晨暮便钟鼓齐鸣，居高临下，声播全城，誉为“山寺晚钟”。现仅存大雄宝殿，馀皆“文化大革命”期间拆毁。千余年来，佛事几度兴衰，香火兴灭相替，鼎盛时期，僧侣达200余人，1988年政府拨款对大雄宝殿进行全面维修，神台正面供奉三尊佛祖，背面奉三尊菩萨。殿后左右角各有一木雕神龛，供伽兰菩萨、达摩祖师；靠南北山墙排两列神龛，供十八罗汉。佛祖、菩萨、罗汉神像混金生辉。现在香火较浓，成为永州佛教胜地。