房遗直，房玄龄的嫡长子。嗣父亲梁国公的爵位，永徽初年，为礼部尚书、汴州刺史。弟弟房遗爱，娶唐太宗女高阳公主，拜为驸马都尉，官至太府卿、散骑常侍。公主骄横，密谋废黜房遗直而夺其封爵，永徽年间，诬告房遗直对她无礼。唐高宗令长孙无忌审理此事，查出了高阳公主与房遗爱谋反的情况。房遗爱伏诛，高阳公主赐自尽，诸子流放到岭表。房遗直以父亲的功劳特赦，除名为庶人。停止房玄龄的配享。五世孙房阶为大理司直；房阶子房鲁，字咏归；房鲁子房重，字慕，武功尉；房重子房谔，大理评事；房谔四子：房从约、房从绎、房从绚、房从绾。