晋时为一小庙，唐云安禅师重建，旁有龙神堂、药师殿。南宋绍兴间行僧心庵再建。僧士性建尊胜幢以镇虎患，仍名伏虎寺，一说寺后山状如伏虎而得名。又称虎溪禅林。明时建罗汉堂，塑500阿罗汉，技艺超绝，后毁。清顺治八年(公元1651年)贯之和尚偕徒可闻、寂玩、帷密重修，历经20载告成，名虎溪精舍。太史蒋超题书额“伏虎寺”(今系补书)。计有殿宇13重，为山中大刹。光绪十年(1884年)僧静安继修。1953年整修，1979年全面大修，1982年在寺内建塔亭一座，将原圣积寺“华严铜塔”移此。寺外有坊二：一名伏虎寺，一名布金林。廊桥三：虎浴、虎溪、虎啸。寺前曾有太湖庵、三一庵。后有香岩寺(西域香岩尊者居此)。左有龙神堂、无量殿，右有玉皇楼。上行至解脱桥，左径至新开寺(明万历三年大用和尚创建)，附近曾有蟠龙寺(唐慧觉禅师开建)、罗汉寺、佛到寺(亦称不到寺)、铁峰庵。西南面至高桥，曾有灵岩寺。古籍载灵岩寺为宝掌禅师结庐旧址，历朝增葺，宋绍兴五年太尉王陵、汉州知州王陟施资重修，易名护国光林寺，元季毁。明初僧弘义、圆道重建，仍名灵岩。景泰间，僧宝峰增修三世佛殿，殿前为明王楼，东为伽蓝堂，西为祖师堂。成化乙酉(1465年)宪宗敕赐“会福寺”匾额。弘治间僧本印扩建。极盛时，有殿字48重，僧众千余，民间有“骑马烧香”之说。明末，大部毁于兵燹。上行曾有棋盘寺。