原在双飞桥中间的古亭后，相传左桥为轩猿游胜峰时造；右桥自汉至宋，屡经修造，是至今尚存比较完好的宋代古桥。寺史记：桥阁建于同一时期，有桥即有阁。寺位于牛心岭下，名牛心寺，寺分前后二院，此为前院。明初广济和尚复修，取晋人左思《招隐诗》何必丝与竹，山水有清音之意，更名清音阁。嘉靖年间别传和尚整修桥、阁，清玉哲禅师继修。1924年阁殿毁于火，1928年僧源竺募建于现址。1953年培修，改建三桥二亭和一线天栈道。1992年，新建阁楼一座。寺前有双飞亭，亦称接王亭、接御亭。下有琉璃亭，亭下北侧有1990年8月建日中诗碑亭，亦称良宽诗碑亭。附近曾有白衣观音楼(亦称白衣阁)。