【技术实现步骤摘要】
本申请涉及计算机
,具体涉及互联网
,尤其涉及数据下载方法和装置。
技术介绍
超核是用于连接不同数据中心的网络节点。不同数据中心之间的通信往往都是通过超核路由中转来完成的。处于不同超核的数据中心之间通信一般要通过超核与超核之间通信完成。而超核与超核之间的链路成本很高,属于高成本链路;超核与数据中心之间的链路,以及数据中心内部服务器之间的链路成本较低,属于低成本链路。随着互联网用户数据的大规模增长,数据中心的数据传输量显著增大,连接到不同超核的数据中心之间的传输需求也越来越大。然而,超核之间的链路带宽运维成本很高,且总量不变,成为稀缺资源。为了保证在截止时间之内完成调度,各个数据中心的服务器之间抢占带宽资源的现象日益激烈。目前数据传输控制方法存在以下问题:业务端关注的重点在各自的产品,并不特别关心传输资源的有效利用,不能充分利用下载机的上传能力,从而使得低成本链路资源空闲,而高成本链路多次传输相同的数据副本,进而导致高成本链路资源的浪费,提高了企业的运维成本。因此,目前的数据传输方法存在低成本链路资源利用率低从而造成带宽空闲,高成本链路使用频率高从而造成链路成本高的问题。
技术实现思路
本申请的目的在于提出一种改进的数据下载方法和装置,来解决以上
技术介绍
部分提到的技术问题。第一方面,本申请提供了一种数据下载方法,所述方法包括:接收第一终端的数据下载请求 ...
【技术保护点】
一种数据下载方法,其特征在于,所述方法包括:接收第一终端的数据下载请求,其中,所述数据下载请求包括:待下载数据的数据标识,所述第一终端的第一终端标识,所述第一终端所属的数据中心的第一数据中心标识,所述第一数据中心连接的超核的第一超核标识,其中,所述超核为连接至少一个数据中心的网络节点;查找出当前下载所述待下载数据的第二终端集合;对于所述第二终端集合中的每一个第二终端,获取该第二终端所属的数据中心的第二数据中心标识,以及获取所述第二数据中心连接的超核的第二超核标识;基于所述第一数据中心标识、所述第一超核标识、第二数据中心标识和第二超核标识生成至少一条下载路径,其中,下载路径指示所述待下载数据被下载时经由的数据中心、超核;从所述至少一条下载路径中选取出最短路径,利用所述最短路径对应的第二终端子集向第一终端上传所述待下载数据。
【技术特征摘要】
1.一种数据下载方法,其特征在于,所述方法包括:
接收第一终端的数据下载请求,其中,所述数据下载请求包括:
待下载数据的数据标识,所述第一终端的第一终端标识,所述第一终
端所属的数据中心的第一数据中心标识,所述第一数据中心连接的超
核的第一超核标识,其中,所述超核为连接至少一个数据中心的网络
节点;
查找出当前下载所述待下载数据的第二终端集合;
对于所述第二终端集合中的每一个第二终端,获取该第二终端所
属的数据中心的第二数据中心标识,以及获取所述第二数据中心连接
的超核的第二超核标识;
基于所述第一数据中心标识、所述第一超核标识、第二数据中心
标识和第二超核标识生成至少一条下载路径,其中,下载路径指示所
述待下载数据被下载时经由的数据中心、超核;
从所述至少一条下载路径中选取出最短路径,利用所述最短路径
对应的第二终端子集向第一终端上传所述待下载数据。
2.根据权利要求1所述的数据下载方法,其特征在于,所述接收
第一终端的数据下载请求之后,所述方法还包括:
为所述数据下载请求创建用于下载所述待下载数据的数据下载进
程。
3.根据权利要求2所述的数据下载方法,其特征在于,所述数据
下载请求还包括:下载截止时间信息、优先级信息、下载限速和上传
限速;以及
所述方法还包括:
基于所述下载截止时间信息、所述优先级信息、所述下载限速和
所述上传限速,调度所述数据下载进程。
4.根据权利要求3所述的数据下载方法,其特征在于,所述从所
述至少一条下载路径中选取出最短路径,利用所述最短路径对应的第
二终端子集向第一终端上传所述待下载数据之后,所述方法还包括:
将所述数据下载进程对应的数据下载请求的第一终端标识和数据
标识对应存储在内存数据库中。
5.根据权利要求4所述的数据下载方法,其特征在于,所述查找
出当前下载所述待下载数据的第二终端集合,包括:
在内存数据库中查找出当前下载所述待下载数据的第二终端集
合。
6.根据权利要求2所述的数据下载方法,其特征在于,所述从所
述至少一条下载路径中选取出最短路径,利用所述最短路径对应的第
二终端子集向第一终端上传所述待下载数据,包括:
从所述至少一条下载路径中选取出最短路径;
从所述最短路径对应的第二终端子集中选取出对应的数据下载进
程的创建时间最早的第二终端作为上传第二终端;
利用所述上传第二终端向所述第一终端上传所述待下载数据。
7.根据权利要求1所述的数据下载方法,其特征在于,所述方法
还包括:监控超核之间的网络信息,其中,所述网络信息包括:带宽
使用率、传输速度。
8.一种数...
【专利技术属性】
技术研发人员:刘明,张宇超,何朝斌,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。