盛康1867年丁忧，后改官浙江杭嘉湖兵备道按察使，“固防裕饷，辖境晏然。”改任皋台后退休。在急剧变化的时代里，盛康反对恪守教条、专注制艺，仿照著名思想家魏源《皇朝经世文编》，也从吏政、户政、兵政、工政等八方面收录文选120卷，希望用经世致用的实学来挽救内外交困的清政权。

不久盛康告老还乡 ，在苏州购得刘氏寒碧庄，经修葺后改名留园，嗣又于光绪十四年至十七年，增辟东西二部，把冠云峰围入园内，又建戏台、鸳鸯厅、待云庵等建筑。园中建筑题名“花好月圆人寿轩”、“佳晴喜雨快雪之亭”、“心旷神怡之廔”、“少风波处便为家”、以及五峰仙馆中自题联“历宦海四朝身，且住为佳，休辜负清风明月；借他乡一廛地，因寄所托，任安排奇石名花。”都反映了盛康享受晚年的得意心情。这在以退隐官员宅园为主的苏州园林是罕见的。盛康常在五峰仙馆中宴请，一面听“清歌唱出回鸾曲”，一面观赏“筵前已尽东南美”的庭院，畅饮“百觞累进意无足”，过着“人生快意赖有此”的生活。留园的建筑经盛康缮修加筑，建筑增多且体量趋高大，装修华美，比昔日更增雄丽，一改昔时园中深邃的氛围。

。