中国的大运河在历史上，大体可分成三个阶段。第一阶段即浙东大运河时期，当时运河的开凿部分在春秋时期的吴国。据考证，浙东运河的历史可以追溯到春秋时期的山阴故水道。根据《越绝书》载，山阴故水道起于范蠡修建山阴大城（大致相当于今绍兴老城）东郭门，终于上虞东关练塘，长 20.7 公里。

晋惠帝时，为满足灌溉需要，由会稽内史贺循主持，修建从钱塘江东岸的西兴至会稽城的西兴运河。此后，这段运河与上虞以东运河以及姚江、甬江的自然水道形成了浙东运河。南北朝时，经过官方和民间的经营，运河的形制已经基本成型。唐代中叶，随着江南运河沿线航运的日益繁忙，浙东地方官员主持疏浚浙东运河，增设堰碶（qì）设施，开挖新河道并疏浚鉴湖使之成为运河重要的水源。

第二个历史阶段在隋炀帝统治初期，即隋唐大运河时期。大业四年（公元 608 年），隋炀帝“诏发河北诸郡男女百余万，开永济渠，引沁水南达于河，北通涿郡。”《隋书•炀帝记》大业六年（ 610 年），又开凿江南运河，至现镇江达杭州，向北则与永济渠相接。可见，大运河由不同的段落组成，有的是既有的沟渠、河流，有的则是完全由人工开凿，用以连接这些既有的沟渠、河流。大运河与北京发生关联，则是隋炀帝在庞大的运河开凿的系统工程中，只是把其中的一条人工河渠——永济渠引到了北京境内。

时间距隋炀帝接通永济渠的时间过去了近700年，北京终于成为了帝王之都。此时，帝都需要大量的物资，驻扎北部边境军队也需要大量的粮食和其他作战物资，仅靠北京湾及周边州县的物产和供给，是远远不够的。元世祖忽必烈综合南北方经济发展需要以及对南方实施有效控制等重大因素，于至元十三年（1276年）批准了丞相伯颜的奏折，下令修建和整治南北运河的各段。于是大运河迎来了她的第三个阶段，即京杭大运河时期。这时，北京才正式确立了在中国运河体系中的地位。因为，京杭运河政治意义上的起点或者经济、文化意义上的终点终于正式落户北京城，当然这和北京作为首都有着极大的关系。

至元十八年（1281年）从任城（济宁市）至须城（东平县）安山，开通了济州河；至元二十六年（1289年）从安山经寿张至临清，开通了会通河；至元二十八年（1291年），南自杭州，北至天津，大运河基本贯通。此时，源源不断的物资从南方“漂”到了通州，加上从海路运来的数量不菲的漕粮，都统统堆积到了通州，可那时坝河的运输能力少则30万担，多则50万担，其余数百万担物资只能走40余里旱路进京。除占用大量的畜力、人力之外，如遇雨季，道路泥泞、“驴畜死者不可胜计”，运输效率则更为低下。至此，人们不得不寻找一条合适的水道，来解决这最后四十里的“瓶颈”问题。

郭守敬（1231—1316年），字若思，河北邢台人，精通数学、天文、地理、水利等。在元至元年间，元世祖忽必烈利用什刹海的水系修建大都，并以什刹海的东岸为大都城的中轴线建城。为了解决大都城的水源问题，由郭守敬修建了从京北昌平县白浮泉到大都的引水工程。从昌平县的白浮村神仙泉引水，向西流再折向南，一路上汇集了一亩、榆河、玉泉等众泉，再截取沙河、清河的上游，共流入瓮山泊（颐和园昆明湖）。从瓮山泊经长河（高梁河）流入和义门（西直门）的水关到积水潭（又称海子，明代以后称什刹海）。从积水潭东的万宁桥（步粮桥、后门桥）经大都城皇城的东墙外流过沙滩、北河沿、南河沿，经御河桥南，出丽正门东水关，再转向东南流入文明门外的金闸河。再从金闸河往东40里流到通州区张家湾西的高丽庄，入白河，全长约82公里。

郭守敬还在元至元二十六年（1289年）主持疏通了京杭大运河山东境内的会通河。这条河南从安山起北抵临清，全长250里。这段河道已淤塞多年，如不疏通，大运河则不能通运到京。郭守敬在会通河上修建了30余座石闸，每闸都是设计巧妙，雄伟壮观，而又科学实用，故人们称为“闸河”。会通河的疏通，使大运河的漕运直达通州，给通惠河的疏通和漕运奠定了基础。

在郭守敬开凿通惠河之前，因为水源均为含沙量极大的永定河，萧太后（运粮）河、金口河、闸河等时断时续，逐渐淤塞而不足为靠。郭守敬重开的“坝河”的水源来自玉泉水系，虽无泥沙之扰，却也因水量不足，维护艰难，运量远远不能满足漕运的需求，同样也不足为靠。在巡察了大都的水资源状况和周围地形特点后，郭守敬提出了修建通惠河的规划，总体建议是扩大上源，引白浮瓮山河入积水潭，经玉河南折，接闸河，打通大都城海子和通州白河的水路交通。忽必烈极为重视，至元二十九年（1292年）八月，命丞相以下的朝臣全体“亲操畚（běn）锸（chā）”到开河工地举行了盛大的典礼。

至元三十年（1293年）秋，工程全线竣工，漕船可以从三千里之外的杭州直达“海子”（现积水潭）码头。那时的“海子”堪称烟波浩淼，水天一色，漕船密密麻麻几乎遮蔽了“海子”的水面。从上都归来的忽必烈，看到如此盛况，大喜过望，命名这条人工河道为“通惠河”。