镇守河东
尧君素，是魏郡汤阴人。隋炀帝做晋王的时候，尧君素是在他身边侍候的人。隋炀帝继位，逐步升迁到鹰扬郎将。大业末年，跟随骁卫大将军屈突通在河东抗拒李渊的军队。
不久，屈突通带领军队向南逃跑，委任尧君素兼任河东通守。李渊派遣大将吕绍宗、韦义节等攻城，但未能攻克。等到屈突通的军队被击败，屈突通逃到城下大声喊叫尧君素。
怒斥屈突
尧君素见到屈突通，哽咽流泪，悲伤得不能自控，身边的人也都跟着哽咽起来。屈突通也流下泪沾湿了衣襟，于是劝说尧君素早早投降来求取富贵。
尧君素用名声和节义责问他说：“你即使在远方能对主上不感到惭愧，但你骑的马，就是代王赐给你的，你有什么颜面骑它呢？”屈突通说：“唉！尧君素！我是力量竭尽才逃来的。”尧君素说：“如今你的力量还没有竭尽，何必多说！”屈突通羞愧地退下了。
困守孤城
当时，城池被围攻得非常紧急，使者断绝。尧君素于是造了一只木鹅，把奏章放在木鹅的脖颈中，在奏章中他详细地分析了情势，他把木鹅漂浮在黄河上，让它顺流而下。河阳守卫的人得到木鹅，送达到东都洛阳。越王杨侗见到奏章不禁叹息，就秉承皇帝旨意授予尧君素金紫光禄大夫之职，秘密派遣使者前往慰劳尧君素。监门直阁庞玉、武卫将军皇甫无逸先后从东都归附李渊，两人一起到城下，向他陈说利害。朝廷又赐给他金券，答应他免除死罪。尧君素最终还是没有投降的意思。他的妻子又到城下，对他说：“隋朝已经灭亡，你何苦要自取祸害？”
尧君素说：“天下的事情不是女人所能知道的。”拉开弓射向他的妻子，他的妻子中箭而倒。尧君素也知道事情必定不能成功，每次说到隋朝，未尝不叹息哽咽。常常对他的将士说：“我是诸侯府邸的老臣，说到大义，不能不死。现在粮食还能支撑几年，粮食吃光了，也足以知道天下之事的结局了。隋朝如果一定倾覆败亡，那是天命有此结局，我应该砍下头来交给你们。”
孤臣末路
当时百姓苦于隋朝的暴政很久了，各地起义风起云涌，然而尧君素善于统领，辖下没有反叛的人。
大业十四年（613年），河东经常听到江都覆灭的消息，粮食又吃光了，甚至发展到交换孩子相吃，众人的心离散惊惧。白虹降临到府门之上，兵器的锋端，夜里都闪着光芒。一个多月后，尧君素被身边的人杀害。
贞观十二年（638年），唐太宗追赠尧君素为蒲州刺史。