集群设备批量传输数据的方法、装置及系统、服务器制造方法及图纸

本申请公开一种集群设备批量传输数据的方法、装置及系统、服务器，该方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；重复步骤2)‑3)，直到将所述待传数据逐层分发至每个目标服务器。本发明专利技术采用多级复制分发数据的方法，使源服务器和目标服务器之间的负载压力平衡，大幅提升了服务器之间复制分发文件的效率。

【技术实现步骤摘要】

本公开涉及集群设备传输数据的技术，特别涉及一种集群设备批量传输数据的方法、装置及系统、服务器。
技术介绍
在通信系统中，有一种应用网络设备的技术，如应用以太网交换机设备的技术，该技术将多台网络设备互相连接，形成一个集群设备组。如今，大数据技术已经得到了广泛的应用。许多互联网公司拥有数千台甚至更多服务器组成的集群。集群中每台服务器的软件和配置文件通常需要保持一致，经常需要将文件复制分发到集群中所有服务器上。怎样高效的将文件复制分发到集群中的各个服务器，这对集群的管理带来了挑战。目前将文件复制分发到集群中的各个服务器主要采用以下两种方案：方案1：顺序复制，将主服务器的文件按顺序依次复制到目标服务器。由于操作简单，适合在服务器数量少的时候使用。方案2：并行复制，在主服务器同时发起多个复制操作，并行向目标服务器复制文件。此方法比顺序复制速度快，当服务器数量较多的时候通常使用此方法。然而，对于顺序复制，文件复制分发速度慢。复制文件到某一台目标服务器时，其他目标服务器都在等待。主服务器和目标服务器的资源利用率都很低。对于并行复制，文件复制分发速度较慢。由于主服务器同时向多台目标服务器复制文件，本文档来自技高网...

【技术保护点】
一种集群设备批量传输数据的方法，所述集群设备包括至少一源服务器和多个目标服务器，其特征在于，所述源服务器存储有待传数据和传输程序，所述方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；4)重复步骤2)‑3)，直到将所述待传数据逐层分发至每个目标服务器。

【技术特征摘要】
1.一种集群设备批量传输数据的方法，所述集群设备包括至少一源服务器和多个目标服务器，其特征在于，所述源服务器存储有待传数据和传输程序，所述方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；4)重复步骤2)-3)，直到将所述待传数据逐层分发至每个目标服务器。2.如权利要求1所述的集群设备批量传输数据的方法，其特征在于，还包括：在所述源服务器执行自身储存的所述传输程序之后，创建包括所述多个目标服务器的目标服务器列表。3.如权利要求2所述的集群设备批量传输数据的方法，其特征在于，根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序包括：从所述目标服务器列表中选取所述预定数量的目标服务器；创建包括所述预定数量的目标服务器的当前服务器列表；更新目标服务器列表中目标服务器的数量；向当前服务器列表中的目标服务器传输所述待传数据、传输程序和更新的目标服务器列表。4.如权利要求1所述的集群设备批量传输数据的方法，其特征在于，所述待传数据包括待传文件和待传文件目录。5.一种集群设备批量传输数据的装置，其特征在于，所述装置包括：选取模块，用于从目标服务器列表中选取预定数量的目标服务器；第一创建模块，用于创建包括所述预定数量的目标服务器的当前服务器列表；更新模块，用于更新目标服务器列表中目标服务器的数量；传输模块，用于向当前服务器列表中的目标服务器传输待传数据、批量传输数据的装置副本和更新的目标服务器列表。6.如权利要...

【专利技术属性】
技术研发人员：张楠，彭兴勃，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11