五指山的传说很多，据说在远古时期，南海观音菩萨要到五台山参加文殊菩萨的法会，乘南海巨寿龟从普陀山往北走。由于路途遥远，就让紫微星引路（又称北极星），到了太行紫微山。 菩萨悠然前行，忽见群峰耸翠，瑞气升腾。禁不住放缓脚步，待慧眼望去，只见祥云缠绕，佛光呈现。原来是如来佛祖伫立山头，正为美景陶醉。观音菩萨按下云头，急忙近前见礼。只听佛祖说道：“此处山川蕴秀、草木含灵，实是天设佳境，地呈灵宫。 我等从南到北，路途遥远，我意在此设一驿宫，你看如何？”观音菩萨应道：“如此甚好，这样众佛家弟子南北往来也有个歇息。