祖楷，尚书都官郎。父绥，中书侍郎。玄保起家楚台太常博士，遭母忧，服阕，右将军何无忌、前将军诸葛长民俱板为参军，并不就。除临安令。刘穆之举为高祖镇军参军，库部郎，永世令。复为高祖太尉参军，转主簿，丹阳丞。少帝景平二年，入为尚书右丞。转左丞，司徒右长史。府公王弘甚知重之，谓左长史庾登之、吏部尚书王准之曰：“卿二贤明美朗识，会悟多通，然弘懿之望，故当共推羊也。”顷之，入为黄门侍郎。

善弈棋，棋品第三，太祖与睹郡戏，胜，以补宣城太守。先是，刘式之为宣城，立吏民亡叛制，一人不禽，符伍里吏送州作部，若获者赏位二阶。玄保以为非宜，陈之曰：“臣伏寻亡叛之由，皆出于穷逼，未有足以推存而乐为此者也。今立殊制，于事为苦。臣闻苦节不可贞，惧致流弊。昔龚遂譬民于乱绳，缓之然后可理；黄霸以宽和为用，不以严刻为先。臣愚以谓单身逃役，便为尽户。今一人不测，坐者甚多，既惮重负，各为身计，牵挽逃窜，必致繁滋。又能禽获叛身，类非谨惜，既无堪能，坐陵劳吏，名器虚假，所妨实多，将阶级不足供赏，服勤无以自劝。又寻此制，施一邦而已，若其是邪，则应与天下为一；若其非邪，亦不宜独行一郡。民离忧患，其弊将甚。臣忝守所职，惧难遵用，致率管穴，冒以陈闻。”由此此制得停。

玄保在郡一年，为廷尉。数月，迁尚书吏部郎，御史中丞，衡阳王义季右军长史、南东海太守，加辅国将军。入为都官尚书、左卫将军，加给事中，丹阳尹，会稽太守。又徙吴郡太守，加秩中二千石。太祖以玄保廉素寡欲，故频授名郡。为政虽无干绩，而去后常见思。不营财利，处家俭薄。太祖尝曰：“人仕宦非唯须才，然亦须运命；每有好官缺，我未尝不先忆羊玄保。”

元凶弑立，为吏部尚书，领国子祭酒，寻加光禄大夫。及世祖入讨，朝野多南奔，劭集群僚，横刀怒曰：“卿等便可去矣！”众战惧莫敢言，玄保容色不异，徐曰：“臣以死奉朝。”劭乃解。世祖即位，以为散骑常侍，领崇宪卫尉。寻迁金紫光禄大夫。又以谨敬见知，赐赉甚厚。大明初，进位光禄大夫。五年，迁散骑常侍，特进。玄保自少至老，谨于祭奠，四时珍新，未得祠荐者，口不妄尝。大明八年，卒，时年九十四。谥曰定子。古

《宋书羊玄保传》