明万历间在此地建掷钵禅院。文士傅严漫游至此，应掷钵禅僧之求，手书“云谷”二字，崇帧时禅院改名“云谷寺”，久而久之，云谷寺就成了今天的地名。宋代丞相程元凤曾在此处读书，故此地又名丞相源。如今，寺庙已不复存在，原址上建起了集徽派建筑精华的“云谷山庄”宾馆。进山的票房、云谷索道下站也设在云谷寺。

　　自后山登山者大多乘车直达云谷寺。在此小憩，可远眺变幻风云奇景，品尝黄山毛峰名茶。由北海下山的游客也可在此歇脚，欣赏稀有珍贵的中国黄杉和中国铁杉，品尝土特名茶黄山毛峰。顺云谷寺左边的山路往下走，穿过竹林，就可望见四公里远处的九龙瀑。在从云谷寺回去的路上，人们还可驻足观赏近处飞流直下，响声震天，直奔温泉的百丈泉。

　　云谷景区山峦重迭、溪谷蜿蜒、云雾吞吐、群峰环绕、翠竹如海，苍松巧石，黄杉、茶树，处处入画。路旁、溪岸的石刻也是景区的一大特点。

　　游览云谷景区可以观赏到钵盂峰、眉毛峰、罗汉峰、香炉峰等著名的山峰，狮子抢球、千古石、仙人榜、琴石台等怪石巧石，九龙瀑、百丈泉、云谷溪、灵锡泉等水景，千年银杏、华东黄杉、南方铁杉等三株名贵古树,“渐入佳境”、“妙从此始”、“醉吟”、“通幽”等多处石刻。