原建于唐開(kāi)元年間，唐會(huì )昌五年（845）建立樓閣，五代重修，名“瑞像寺”、大中祥符元年（1008）賜名為“寶相寺”、至明永樂(lè )九年（1411）重建佛閣三層五楹，取名“毗盧閣”，萬(wàn)歷廿九年（1601）建無(wú)梁橋，現在的五層五楹為光緒十九年（1893）重建。
大殿1981年大修，增塑文殊、普賢，重塑十八羅漢，主體建筑改為五層七楹，依崖而建，歇山頂，飛檐翹角，逐層退進(jìn)成塔形，外觀(guān)雄偉壯麗而又精巧穩重。
“逍遙樓”匾額為唐顏真卿手書(shū)；“大雄寶殿”為清俞樾書(shū)，殿內楹聯(lián)“理哲家言同源西圣、華嚴法界現象南明”為蔡元培書(shū)。