建于清同治三年（1864年），光绪八年（1882年）落成，四面环河，东面有一座小型石拱桥可通。桥建于明成化八年（1472年），阳山石结构。书院坐西向东，原布局为“两进两侧厢”，三面有廊，中为天井。共有房屋十余间，均为硬山顶建筑。现除南侧厢五间已拆除改建了新房外，其余都较完好地保持着原状原貌。书院大门在第一进正中，面对小石桥。向天井一面有砖细墙门，门额上刻有“樾朴作人”四个篆书大字，似为校训。门外有古银杏两棵，树龄约200余年。
整个旧址占地约400平方米，环境清幽，格调高雅。2003年6月已公布为市级文物保护单位，现为省级文物保护单位。
