王阳明名守仁，是明代著名的思想家、教育家、军事家、书法家。他文治武功，为明代第一流名臣，是中国近五百年来思想变革的先驱。王氏自南宋时迁居余姚城内，世居秘图山旁。至王阳明祖父时，分居于城内西北武胜门路的这幢楼房。因王阳明诞生时，其祖母梦见神仙云中送子，后隧将此楼称之为“瑞云楼”。王阳明在瑞云楼度过了童年生活。王阳明于28岁考中进士，曾因反对阉宦专权乱政，被贬为贵州龙场驿。后累官至赣南巡抚、南京兵部尚书。他勋业卓著，仕途坎坷，主要成果在于学术活动，发展了以“良知”为核心的“阳明学说”。他一生讲学，培养了大批王学弟子，世称“姚江学派”。

瑞云楼建于明代前期，占地近五千平方米，历近五六百年，至今保存着头门、二门、仪门、正厅，原有格局大致完整。其中的砖雕仪门，精雕细刻，工艺精湛细腻，体现了当时砖雕技艺的水平。穿过仪门，越过天井即是三间开面的正厅。房架高敞，用材粗大稳实，不施雕刻彩漆，朴实庄重，是较为典型的明代建筑。正门上方挂有一匾，上写“真三不朽”，这时历来对王阳明一生在立德、立言、立功三个方面揭居绝顶的确切评价。厅内悬挂王阳明先生半身中堂画像，两旁有对联，上方高悬三快匾额，分别题写着：“吾心光明”、“文以载道”、“斯文千载”，表露着后人对王阳明先生的推崇。

第四进后楼，七开间两层，现布置有《王阳明史迹陈列》展览，展示了王阳明先生楷、行、草等多种书体法书墨迹，最早的王阳明著作版本明隆庆刻本《王文成公全书》，以及王阳明先生生平所至的各地遗迹图片和部分实物资料，较为详实地介绍了王阳明先生一生的业绩成就，以及阳明学说对日本等海外诸国的深远影响。

瑞云楼现为宁波市爱国主义教育基地。