时穆宗在东宫，方幼好戏。绶讲书之隙，颇以嘲诮悦之。尝密赍家所造食，入宫饷太子。宪宗尝召对，绶奏曰：“太子学书，至‘依’字，辄去旁‘人’。臣问之，太子云：‘君父以此字可天下奏事，臣子不合全书。’”上益嘉太子之贤，赐绶锦彩。绶无威仪，时以人间鄙说戏言以取悦太子。太子因入侍，道绶语。宪宗不悦，谓侍臣曰：“凡侍读者，当以经义辅导太子，纳之辄物，而绶语及此，予何望耶？”乃罢侍读，出为虔州刺史。
穆宗即位，以师友之恩，召为尚书右丞，兼集贤院学士，甚承恩顾，出入禁中。绶以七月六日是穆宗载诞节，请以是日百官诣光顺门贺太后，然后上皇帝寿。时政道颇僻，敕出，人不敢议。久之，宰臣奏古无生日称贺之仪，其事终寝。绶
在集贤，遇重阳，赐宰臣百官曲江宴；绶请与集贤学士别为一会，从之。长庆元年三月，转礼部尚书，判集贤院事。
帝尝问：“禳灾祈福，其可必乎？”绶对曰：“昔宋景公以一善言而法星退之三舍，此禳灾以德也。汉文帝除秘祝，每于祠祭，尽敬而已，言无所祈，以明福不可以求致也。而二君卒能变已变之灾，享自致之福，著于史传，其理甚明。如失德以祈灾消，媚神以祈福至，神苟有知，当因以致谴，非祈禳之道也。”时人主失德，绶因以讽之。
二年十月，检校户部尚书、兴元尹、山南西道节度使。辞日，请门戟十二，自将赴镇。又诉家贫，请赐钱二百万。又面乞授子元弼官。上皆可之。绶御事无术，洎临戎镇，庶政隳紊。二年八月卒，赠尚书右仆射。博士刘端夫请谥“通”，殿中侍御史孟琯上言以为非当。博士权安请谥为“缪”，竟不施行。