少孤而贫，好学善属文。有宗人欲以高廕相假者，怀远竟拒之，退而叹曰：“因人之势，高士不为；假廕求官，岂吾本志？”未几，应四科举擢第，累除司礼少卿。出为邢州刺史，以其本乡，固辞不就，改授冀州刺史。俄历扬、益等州大都督府长史，未行，又授同州刺史。在职以清简称。入为太子左庶子，兼太子宾客，历迁右散骑常侍、春官侍郎。大足年，迁鸾台侍郎，寻同凤阁鸾台平章事。岁余，加银青光禄大夫，拜秋官尚书，兼检校太子左庶子，赐爵平乡县男。长安四年，以老辞职，听解秋官尚书，正除太子左庶子，寻授太子宾客。神龙初，除左散骑常侍、兵部尚书、同中书门下三品，加金紫光禄大夫，进封赵郡公，特赐实封三百户。俄以疾请致仕，许之。中宗将幸京师，又令以本官知东都留守。