名相之后
荀组字大章，是晋相荀勖的儿子。学问丰博，为人勇毅。未及入仕，太尉王衍遇之，赞叹说:“夷雅有才识。”当即荐为司徒左西属、补太子舍人。不久，司徒王浑又聘其为从事中郎，转左长史；历太子中庶子，荥阳太守。
晋惠帝永康元年（公元300年），赵王伦为相国，欲收人望，选用海内名德之士，以前平阳太守李重、荥阳太守荀组分别为左右长史；以淮南王文学荀崧、殿中郎陆机为参军。荀组有乃父之风，达于从政，及赵王伦当权，拜荀组为侍中。
兄弟贵盛
长沙王乂败，晋惠帝派遣荀组，代表朝廷，慰劳晋军。帝西幸长安，以荀组为河南尹，迁尚书、转卫尉，赐爵成阳县侯，加散骑常侍、中书监，转司隶校尉，加特进光禄大夫，常侍如故。于时天下已乱，荀组弟兄贵盛，自恐不容于世，虽居高位，并讽议而已。
晋怀帝永嘉五年（公元311年），帝复以荀组为侍中，领太子太保。未拜，汉主聪使前军大将军呼延晏将兵三万，寇洛阳，血浴帝宫，尚书令荀藩及光禄大夫荀组奔往轩辕。怀帝蒙尘，司空王浚以荀组为司隶校尉。阎鼎等欲奉秦王业入关，居长安以号令四方，荀组兄弟是山东人，不欲西行，中途逃散，追之无及。
当时，九州糜沸，群雄竞逐，司徒傅袛建行台于河阴。司空荀藩在阳城，与荀组及中护军族子荀崧建行台于密，传檄四方，推琅琊王睿为盟主。愍帝称皇太子，荀组为太子舅父。公元312年，司空荀藩督摄远近；光禄大夫荀组复领司隶校尉、行豫州刺史，与其兄共保荥阳之开封。建兴初年，诏荀藩行留台事。俄而荀藩薨逝，帝更以荀组为司空，领尚书左仆射，又兼司隶，复行留台事，州郡守皆承制行焉。进封临颍县公，加太夫人、世子印绶。明年，进位太尉，领豫州牧，假节（有权杀戮二千石以下的官员）。
位列三公
元帝承制，以荀组都督司州诸军，加散骑常侍，余职如故。不久，有除尚书令，上表陈让，不予受拜。及西都不守，荀组乃遣使移檄天下，劝进讨逆。帝欲以荀组为司徒，以问太常贺循。贺循说：“组旧望清重，忠勤显著，迁训二品，实允众望”。于是拜荀组为司徒。司徒乃三公之一，荀组以此为责，以社稷为本，加官济民。此后，晋朝司徒，不干朝政，衔为虚设。
荀组受石勒钳制，不能自立，太兴初年，自许州而出，率其众属，计数百人，毅然渡江。之前所领兵将，仍归统摄，其聚千兵百骑，此乃荀氏宗族又一次大规模迁徙。即至，主下诏，使荀组与西阳王羕录尚书事，各加班剑六十人。
去世
公元319年，元帝渡江，始议立郊祀仪。尚书令刁协，国子祭酒杜夷以为，宜须旋都洛邑乃修之。司徒荀组据汉献帝都许即便立郊，自宜于此修奉。骠骑王导，仆射荀崧等皆同荀组之议。帝从之，事遂施行，立郊丘于建康城南郊之祀地。永昌初，复迁荀组为太尉，领太子太保，未拜，会薨，年六十五，谥曰元。子荀奕嗣。