明正德六年（1511）王陽(yáng)明自龍場(chǎng)謫歸，道過(guò)辰州，喜人士樸茂，寓龍興講寺彌月，與武陵蔣信字道林者往來(lái)講論，題詠山水。進(jìn)士唐愈賢從游，得聞致良知之學(xué)，士人興起。嘉靖二十三年（1544），陽(yáng)明門(mén)人辰州郡丞徐珊與邑憲副王世隆建虎溪精舍。祠內石刻文成公像，橫額書(shū)公絕句。隆慶中郡守徐延綬增置學(xué)舍。崇禎初，守道樊良樞拓舍宇，更名陽(yáng)明書(shū)院。
明末兵燹廢。清康熙四十五年（1706）郡守遲瑞構數楹故址。雍正四年（1726）郡丞黃澍復修。十一年，沅陵知縣趙念增在其中設義塾，改為虎溪書(shū)院。后屢經(jīng)修葺拓新為教學(xué)之所。民國時(shí)期，常年駐兵，房舍逐年頹毀。新中國建立后，1956年定為湖南省重點(diǎn)文物保護單位。后因長(cháng)久失修而撤銷(xiāo)。1986年國家文物局資助，縣財政撥款，在原址仿原式建磚木結構房舍一棟，辟為縣博物館陳列室。