隋文帝建立隋朝后，最初定都在汉长安城。但当时的长安破败狭小，水污染严重，已经不再适合新的大一统王朝的需要，于是隋文帝便决定另建一座新城。开皇二年(582年)，隋文帝杨坚在长安城东南龙首原南面选了一块“川原秀丽，卉物滋阜，卜食相土，宜建都邑”(《隋书·高祖纪》)的地方建造新都，新都定名为“大兴城”。

隋朝虽号称沃野，但地狭人众，所产不足以供京师，要依靠东方诸州的赋税。文帝以渭水大小无常，流浅沙深，常阻塞漕运\，故於开皇四年命宇文恺率领水工另开漕渠。自大兴城西北引渭水，略循汉代漕渠故道而东，至潼关入黄河，长三百馀里，名广通渠。自此漕运通利，关中赖之，故又称富民渠。仁寿四年改名永通渠。 隋唐两代建都长安(今西安)，将关东和江南的粮食货物运进关中，供应京师的需要是当务之急。由于渭水历来是一条难行的运道，故汉武帝时即已开关中漕渠，以补给渭水漕运的不足①[注：参阅《中国水利史稿》上册第一五八页至一五九页。]。隋统一中国北方后，汉代旧漕渠已长期淤塞而不能用，不得不仍然用渭水漕运。但“渭水多沙，流有深浅，漕者苦之”②[注：《隋书·食货志》卷二十四。但《隋书·郭衍传》卷六十一中又说漕运四百余里。]，很难继续通航。隋文帝杨坚于开皇四年(公元五八四年)命宇文恺率水工凿渠，“引渭水自大兴城(即长安)东至潼关三百余里，名曰广通渠。”③[注：《隋书·食货志》卷二十四。但《隋书·郭衍传》卷六十一中又说漕运四百余里。]宇文恺是当时有名的工程专家，参加这项工程建设的苏孝慈和元寿等人也是懂得工程的。他们经过调查研究，规划设计，集中大批民工军工，从当年六月开工，仅仅花了三个多月的时间就胜利建成了。渠成后，“转运通利，关内赖之。”④[注：《隋书·食货志》卷二十四。但《隋书·郭衍传》卷六十一中又说漕运四百余里。]这条运河把大兴城与潼关连接起来，使沿黄河西上的漕船不再经过弯曲的渭水而直达京城长安。广通渠的渠道在渭水之南，是在汉代漕渠的基础上开浚的。广通渠凿通后，黄河三门峡的砥柱仍阻碍关东的航运，开皇十五年(公元五九五年)，隋文帝下诏凿砥柱，未见成效。此外，为了统一江南，开皇七年(公元五八七年)，又着手开挖大运河的江淮河段，“于扬州开山阳渎，以通运漕。”⑤[注：《隋书·高祖纪》卷一。]山阳渎南起江都县的扬子津(今扬州南)，北至山阳(今淮安)，长约三百里，沟通了长江和淮河；山阳渎实际上是邗沟旧道的全面整修和疏浚。邗沟是我国古代著名的运道，《水经．淮水注》称中渎水。早在公元前四八六年，吴王夫差就已开邗沟(又叫韩江)运河。不过，当初这条运河是利用自然湖泊和河流串联而成，因而路程弯曲，风浪也大。

三国时已改由樊梁湖(今高邮县西北五十里)北至津湖(今宝应县南六十里)，再往北过白马湖(今宝应县西北十五里)入淮。晋穆帝时期(公元三四五——三六一年)，地方官员陈敏在原运河的西边，从射阳到末口开凿了另一条路程较短而又较直的新运河，取名山阳运道，亦叫山阳水道。到隋代，这条运河虽被淤塞，但行水路线仍清楚。隋文帝修复了这条运河，称山阳渎①[注：参阅冀朝鼎：《中国历史上的基本经济区与水利事业的发展》]。与此同时还整修了汴河。在这个基础上，隋炀帝杨广组织续修了四条首尾衔接的运河，即通济渠，永济渠、江南运河，并扩建和改善了山阳渎。

隋开皇四年（584年），隋文帝命宇文凯率水工开凿。因渠经渭口广通仓下，故名。又因渠下人民颇受其惠，亦称富民渠。仁寿四年（604年）又改名永通渠。