1895年革差，永不叙用。后归杭州书院教席，精于说文之学，能篆书。张公束谓其所补钱警石冷斋勘书图，秀润天成，超然尘表，不愧名笔云。初典试山东，尝绘三香橼于扇，贻奖钜野魏生，传为佳话。1907年去世，葬于花山。孽海花中唐卿的原型。卒年六十九岁。

喜藏书，外祖父韩崇收藏颇富，后来所有藏书和金石器物被他所得。任山东学政时，收有陈鳣“向山阁”的旧藏和孔氏”微波榭”的抄本数十种，建藏书楼有“万宜楼”，上下3层，中有庭院，以通天气，用转辘以取书。藏书家王颂蔚、叶昌炽曾登其楼观书，叶昌炽称“导登书楼，周览图史，宋元旧椠，士礼艺芸。相视莫逆，镇库之珍”。其所得宋元人集，如周紫芝《太仓籴米集》、陈基《夷白集》，凡数十种，皆孔氏微波榭抄本。藏书印有“万宜楼藏善本书记”。编有《万宜楼善本书目》1册，收有宋本13种，元本12种，明本、抄本、批校本、稿本数百种，皆为善本。其藏书于光绪末遇火被焚数架。余所藏以8000元售给日本人，王謇称其“蕞尔八千袁氏币，万宜楼闭宋元沦”。精于小学，书画亦擅长。著有《能自疆斋文稿》。

覃研经学。历督陕、甘、江西、山东、广东学政。1894年(德宗光绪二十年)任吏部右侍郎。次年，《马关条约》签订，日本侵略者坚索台湾、澎湖，他力陈海疆重地不可弃。时光绪亲政，数召朝臣，其奏对尤切直，且反对后党掣肘，主张巩固帝位。12月与侍郎长麟以信口妄言、迹近离间之罪名，被慈禧太后下令革职，永不叙用。既罢归，主讲杭州诂经精舍、敷文书院。