网络数据中心的数据分发方法和系统技术方案

一种网络数据中心的数据分发方法，包括以下步骤：网络数据中心的至少一个节点服务器从数据源服务器下载源文件；下载管理服务器存储已下载所述源文件的节点服务器的标识；网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识；所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接，从所述已下载源文件的节点服务器下载所述源文件。上述方法，网络数据中心的部分节点服务器从数据源服务器下载源文件，其它节点服务器从已下载源文件的节点服务器下载源文件，不需要所有的节点服务器都从数据源服务器下载源文件，从而可减少占用网络数据中心之间的专线带宽。

【技术实现步骤摘要】
网络数据中心的数据分发方法和系统【
】本专利技术涉及网络技术，特别地涉及一种网络数据中心的数据分发方法和系统。【
技术介绍
】网络数据中心(Internet Data Center, IDC)是基于Internet网络的、包含多台服务器的网络基地。每台服务器都是IDC的用于集中式收集、存储、处理和发送数据的节点，因此服务器也可称作为节点服务器。IDC的节点服务器之间相互连接形成局域网。随着互联网的快速发展，互联网公司的业务也发展迅速，用于支撑业务的IDC的服务器的数量更是日趋庞大，一个IDC部署的服务器有的多达几万台甚至几十万台。为了满足业务扩展的需求以及考虑到地域分布的因素，往往在不同区域部署多个IDC支撑业务。不同的IDC之间一般通过专用线路(专线)通信连接，构成一个巨大的服务器网络。采用专线进行通信连接使得不同IDC之间的通信速度非常快，然而专线的带宽成本非常昂贵。IDC中的节点服务器通常需要安装相同的系统软件或应用软件以支撑同一业务。因此，需要在多个IDC的多个节点服务器之间分发同一文件。传统网络数据中心的分发数据的方法，一般将某一个IDC中的某一台服务器作为数据源服务器，在数据源服务器上部署源文件，由其它节点服务器(包括该IDC的其它节点服务器以及其它IDC的节点服务器)从数据源服务器下载源文件。由于不同IDC的节点服务器之间的通信需要占用连接IDC的专线带宽，而很多IDC的节点服务器数量比较大，且系统软件或应用软件的更新频率又比较快，因而传统的方法在多个IDC之间分发数据时需要占用大量的专线带宽。`另外，在传统的方法中，数据源服务器一旦发生错误，即可能导致还未下载源文件的节点服务器不能再下载源文件，因此，传统的方法容错率较低。【
技术实现思路
】基于此，有必要提供一种能减少占用网络数据中心之间专线带宽的网络数据中心的分发数据的方法。一种网络数据中心的数据分发方法，包括以下步骤:网络数据中心的至少一个节点服务器从数据源服务器下载源文件；下载管理服务器存储已下载所述源文件的节点服务器的标识；网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识；所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接，从所述已下载源文件的节点服务器下载所述源文件。基于此，有必要提供一种能减少占用网络数据中心之间专线带宽的网络数据中心的分发数据的系统。一种网络数据中心的数据分发系统，包括网络数据中心中的多个节点服务器、与各网络数据中心中的节点服务器进行交互的数据源服务器和下载管理服务器，所述节点服务器包括第一节点服务器和第二节点服务器，其中:数据源服务器用于存储和分发源文件；所述下载管理服务器用于存储已下载所述源文件的节点服务器的标识；第一节点服务器用于从所述数据源服务器下载所述源文件；所述第二节点服务器用于向所述下载管理服务器查询已下载所述源文件的节点服务器的标识；所述第二节点服务器还用于与查询得到的节点服务器建立下载连接，从查询得到的节点服务器下载所述源文件。上述网络数据中心的数据分发方法和系统，网络数据中心的部分节点服务器从数据源服务器下载源文件，其它节点服务器从已下载源文件的节点服务器下载源文件，不需要所有的节点服务器都从数据源服务器下载源文件，从而可减少占用网络数据中心之间的专线带宽。【【附图说明】】图1为一个实施例中的网络数据中心的数据分发方法的流程示意图；图2为一个实施例中启动节点服务器下载源文件的步骤的流程示意图； 图3为一个实施例中图1的步骤S40的流程示意图；图4为一个实施例中下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的步骤的流程示意图；图5为另一实施例中下载管理服务器向发起查询的节点服务器返回已下载源文件的节点服务器的标识的步骤的流程示意图；图6为一个实施例中的网络数据中心的数据分发系统的结构示意图；图7为另一实施例中的网络数据中心的数据分发系统的结构示意图；图8为又一实施例中的网络数据中心的数据分发系统的结构示意图。【【具体实施方式】】如图1所示，在一个实施例中，一种网络数据中心的数据分发方法，包括以下步骤:步骤S20，网络数据中心的至少一个节点服务器从数据源服务器下载源文件。在一个实施例中，从数据源服务器下载源文件的节点服务器可以是分别属于不同的IDC的多个节点服务器。节点服务器下载了源文件之后，可供还未下载源文件的其他节点服务器(包括属于相同IDC的其他节点服务器和属于不同IDC的其它节点服务器)下载源文件。具体的，数据源服务器可包含于某一个IDC，为该IDC中的一台存储了源文件的服务器。在一个实施例中，在步骤S20之前，可上传源文件至数据源服务器。在一个实施例中，在步骤S20之前，上述网络数据中心的数据分发方法还包括以下步骤:节点服务器获取本机安装的软件的标识和版本信息，上报到节点信息管理服务器；节点信息管理服务器获取并保存节点服务器上报的本机安装的软件标识和版本信息。具体的，节点信息管理服务器获取到节点服务器上报的软件的标识和版本信息后，可存储节点服务器的标识与安装的软件的标识和版本信息的对应关系。如图2所示，在步骤S20之前，上述网络数据中心的数据分发方法还包括启动节点服务器下载源文件的步骤，具体过程包括:步骤S102，调度管理服务器根据节点信息管理服务器存储的节点服务器安装的软件的标识和版本信息获取需要下载源文件的节点服务器。具体的，调度管理服务器可将节点服务器安装的软件的标识和版本信息与源文件的标识和版本信息进行比较，若节点服务器安装的软件不包括源文件或节点服务器安装的软件的版本比源文件的版本低，则判定该节点服务器为需要下载源文件的节点服务器。步骤S104，调度管理服务器选取需要下载源文件的节点服务器中的至少一个节点服务器，启动选取的节点服务器从数据源服务器下载源文件。在一个实施例中，调度管理服务器可选取分别属于多个IDC的多个节点服务器。在一个实施例中，调度管理服务器可获取各IDC的需要下载源文件的节点服务器的第一数量和/或内网传输带宽，根据第一数量和/或内网传输带宽获取各IDC需从数据源服务器下载源文件的节点服务器的第二数量，从各IDC需要下载源文件的节点服务器中选取各IDC对应的第二数量的节点服务器。具体的，在一个实施例中，可预先存储IDC的从数据源服务器下载源文件的节点服务器数量与IDC的需要下载源文件的节点服务器总数量的比值。根据该比值以及IDC的需要下载源文件的节点服务器的数量计算第一数量。例如，上述比值为1:10，若某一 IDC的需要下载源文件的节点服务器为1000台，则该IDC对应的第二数量(即需要从数据源服务器下载源文件的节点服务器的数量)为100台。在一个实施例中，可预先划分IDC的内网传输带宽区间段，并设置区间段与上述比值的对应关系。例如，若内网传输带宽属于[3，13)，其中&〈13，可设置IDC对应的第二数量与IDC的需要下载源文件的节点服务器总数量的比值为1:10。若内网传输带宽属于[b，c)，其中b〈c，可设置上述比值为1:100。依次类推，随着内网传输带宽的增大，可减小上述比值。调度管理服务器获取到IDC的内网传输带宽后，可查找内本文档来自技高网...

【技术保护点】
一种网络数据中心的数据分发方法，包括以下步骤：网络数据中心的至少一个节点服务器从数据源服务器下载源文件；下载管理服务器存储已下载所述源文件的节点服务器的标识；网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识；所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接，从所述已下载源文件的节点服务器下载所述源文件。

【技术特征摘要】
1.一种网络数据中心的数据分发方法，包括以下步骤: 网络数据中心的至少一个节点服务器从数据源服务器下载源文件； 下载管理服务器存储已下载所述源文件的节点服务器的标识； 网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识； 所述未下载源文件的节点服务器与查询得到的已下载源文件的节点服务器建立下载连接，从所述已下载源文件的节点服务器下载所述源文件。2.根据权利要求1所述的网络数据中心的数据分发方法，其特征在于，所述方法还包括以下步骤: 节点服务器在下载所述源文件之后，获取所述源文件的标识所属的区间段，将节点服务器的标识以及所述源文件的标识发送到所述区间段对应的下载管理服务器； 所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤包括: 网络数据中心的未下载源文件的节点服务器获取源文件的标识所属的区间段，向所属的区间段对应的下载管理服务器查询已下载所述源文件的节点服务器的标识。3.根据权利要求1所述的网络数据中心的数据分发方法，其特征在于，在所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤之后，所述方法还包括: 下载管理服务器查找已下载所述源文件的节点服务器，选取查找到的节点服务器中与所述发起查询的节点服务器属于同一个网络数据中心的节点服务器，向所述发起查询的节点服务器返回选取的节点服务器的标识。4.根据权利要求1所述的网络数据中心的数据分发方法，其特征在于，所述方法还包括: 下载管理服务器获取并保存节点服务器当前维持的所述下载连接的数量； 在所述网络数据中心的未下载所述源文件的节点服务器向下载管理服务器查询已下载所述源文件的节点服务器的标识的步骤之后，所述方法还包括: 下载管理服务器查找已下载所述源文件的节点服务器，选取查找到的节点服务器中所述下载连接数量最少的节点服务器，向所述发起查询的节点服务器返回选取的节点服务器的标识。5.根据权利要求1所述的网络数据中心的数据分发方法，其特征在于，在所述网络数据中心的至少一个节点服务器从数据源服务器下载源文件的步骤之前，所述方法还包括: 节点信息管理服务器获取节点服务器上报的本机安装的软件标识和版本信息； 调度管理服务器根据所述软件标识和版本信息获取需要下载所述源文件的节点服务器； 调度管理服务器选取所述需要下载所述源文件的节点服务器中的至少一个节点服务器，启动选取的节点服务器从数据源服务器下载源文件。6.根据权利要求5所述的网络数据中心的数据分发方法，其特征在于，所述调度管理服务器选取所述需要下载所述源文件的节点服务器中的至少一个节点服务器的步骤包括:调度管理服务器获取各网络数据中心的需要下载所述源文件的节点服务器的第一数量和/或内网传输带宽，根据所述第一数量和/或内网传输带宽获取各网络数据中心需从数据源服务器下载所述源文件的节点服务器的第二数量，从各网络数据中心需要下载所述源文件的节点服务器中选取各网络数据中心对应的所述第二数量的节点服务器。7.根据权利要求1所述的网络数据中心的数据分发方法，其特征在于，所述方法还包括以下步骤: 分发统计服务器统计建立所述下载连接的两端节点服务器的标识以及下载时长，获取相关的下载结果报表。8.—种网络数据中心的数据分发系统，其特征在于，包括网络数据中心中的多个节点服务器、与各网络数据中心中的节点服务器进行交互的数据源服务器和下载管理服务器，所述节点服务器包括第一节点服务器和第二节点服务器， 其中: 数据源服务器用于存储和分发源文件；所述下载管理服务器用于存储已下载所述源文件的节点服务器的标识； 第一节点服务器用于从所述数据源服务器下载所...

【专利技术属性】
技术研发人员：刘刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：