大烏山山巔之上有座古廟，相傳建于唐代中宗神龍元年（705年），由于年代久遠，歷經(jīng)滄桑，毀建數次。整座廟宇全用花岡條石砌成，規模壯觀(guān)。正棟為玉皇殿，殿內佛像陳列，有鋼鐵鑄的，有石鑿的，有木雕的，還有陶制的，其貌莊嚴，威武神氣。右為觀(guān)音殿，神臺上的觀(guān)音娘娘坐于蓮花之上，雙手平擺于膝，相貌慈善。左為羅漢殿，十八羅漢各開(kāi)笑口，形態(tài)不一。
大烏山的命名有有兩種說(shuō)法：一是遠望大烏山，烏蒙蒙的一片，所以，人們就叫它“大烏山”。另一種，就是明洪武翰林學(xué)士解縉在山上廟里過(guò)夜，大風(fēng)吹滅了蠟燭，廟里黑烏烏的，他開(kāi)玩笑說(shuō)：“現在不是名（明）山，而是變成了烏山了。”于是，人們就戲稱(chēng)它為“烏山”。
南宋愛(ài)國英雄文天祥游歷到此，驚嘆于大烏山的雄奇，題寫(xiě)了“永鎮江南”四字匾額；明朝進(jìn)士鄒元標也留下了“烏山仙境”四個(gè)字的珍貴墨寶；遺憾的是一些代狀元吉水人解縉題寫(xiě)的“捷足先登”牌坊在清末坍毀，僅留遺址。