集群设备批量传输数据的方法、装置及系统、服务器制造方法及图纸

本申请公开一种集群设备批量传输数据的方法、装置及系统、服务器，该方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；重复步骤2)‑3)，直到将所述待传数据逐层分发至每个目标服务器。本发明专利技术采用多级复制分发数据的方法，使源服务器和目标服务器之间的负载压力平衡，大幅提升了服务器之间复制分发文件的效率。

【技术实现步骤摘要】

本公开涉及集群设备传输数据的技术，特别涉及一种集群设备批量传输数据的方法、装置及系统、服务器。
技术介绍
在通信系统中，有一种应用网络设备的技术，如应用以太网交换机设备的技术，该技术将多台网络设备互相连接，形成一个集群设备组。如今，大数据技术已经得到了广泛的应用。许多互联网公司拥有数千台甚至更多服务器组成的集群。集群中每台服务器的软件和配置文件通常需要保持一致，经常需要将文件复制分发到集群中所有服务器上。怎样高效的将文件复制分发到集群中的各个服务器，这对集群的管理带来了挑战。目前将文件复制分发到集群中的各个服务器主要采用以下两种方案：方案1：顺序复制，将主服务器的文件按顺序依次复制到目标服务器。由于操作简单，适合在服务器数量少的时候使用。方案2：并行复制，在主服务器同时发起多个复制操作，并行向目标服务器复制文件。此方法比顺序复制速度快，当服务器数量较多的时候通常使用此方法。然而，对于顺序复制，文件复制分发速度慢。复制文件到某一台目标服务器时，其他目标服务器都在等待。主服务器和目标服务器的资源利用率都很低。对于并行复制，文件复制分发速度较慢。由于主服务器同时向多台目标服务器复制文件，因此主服务器非常繁忙，硬件资源迅速耗尽，结果主服务器只能同时向部分目标服务器复制文件，其他目标服务器仍然空闲。目标服务器的资源利用率很低。
技术实现思路
本公开提供一种集群设备批量传输数据的方法、装置及系统、服务器，能够提高服务器间复制分发文件的速度，降低源服务器的压力，提高目标服务器的资源利用率。根据本公开的一方面，提供一种集群设备批量传输数据的方法，所述集群设备包括至少一源服务器和多个目标服务器，所述源服务器存储有待传数据和传输程序，所述方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；4)重复步骤2)-3)，直到将所述待传数据逐层分发至每个目标服务器。在本公开的一种示例性实施例中，还包括：在所述源服务器执行自身储存的所述传输程序之后，创建包括所述多个目标服务器的目标服务器列表。在本公开的一种示例性实施例中，根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序包括：从所述目标服务器列表中选取所述预定数量的目标服务器；创建包括所述预定数量的目标服务器的当前服务器列表；更新目标服务器列表中目标服务器的数量；向当前服务器列表中的目标服务器传输所述待传数据、传输程序和更新的目标服务器列表。在本公开的一种示例性实施例中，所述待传数据包括待传文件和待传文件目录。根据本公开的一个方面，提供一种集群设备批量传输数据的装置，所述装置包括：选取模块，用于从目标服务器列表中选取预定数量的目标服务器；第一创建模块，用于创建包括所述预定数量的目标服务器的当前服务器列表；更新模块，用于更新目标服务器列表中目标服务器的数量；传输模块，用于向当前服务器列表中的目标服务器传输待传数据、批量传输数据的装置副本和更新的目标服务器列表。在本公开的一种示例性实施例中，还包括：第二创建模块，用于创建包括所述多个目标服务器的目标服务器列表。在本公开的一种示例性实施例中，所述更新模块包括：减法单元，从目标服务器列表中祛除选取的目标服务器，得到第一数量的目标服务器；除法单元，将所述第一数量的目标服务器除以当前服务器列表中第二数量的服务器，更新单元，根据除法单元的计算结果得到更新目标服务器列表中目标服务器的数量。在本公开的一种示例性实施例中，所述待传数据包括待传文件和待传文件目录。根据本公开的一个方面，提供一种集群设备服务器，包括：处理器；用于存储待传数据和处理器可执行指令的存储器；其中，所述处理器被配置为：从目标服务器列表中选取预定数量的目标服务器；创建包括所述预定数量的目标服务器的当前服务器列表；更新目标服务器列表中目标服务器的数量；向当前服务器列表中的目标服务器传输待传数据、传输程序和更新的目标服务器列表。根据本公开的一个方面，提供一种集群设备批量传输数据的系统，包括：源服务器，包括：处理器；用于存储待传数据和传输程序的存储器；其中，所述源服务器的处理器被配置为：从目标服务器列表中选取预定数量的目标服务器；创建包括所述预定数量的目标服务器的当前服务器列表；更新目标服务器列表中目标服务器的数量；向当前服务器列表中的目标服务器传输所述待传数据、传输程序和更新的目标服务器列表；多个目标服务器，每个目标服务器包括：处理器；用于接收所述待传数据、传输程序和更新的目标服务器列表的存储器；其中，所述目标服务器的处理器执行所述传输程序，根据所述传输程序的配置，将所述待传数据以递归方式逐级分发至所有目标服务器。本专利技术采用多级复制分发数据的方法，使源服务器和目标服务器之间的负载压力平衡，大幅提升了服务器之间复制分发文件的效率。此外，服务器的分级以及数据传输均可通过传输程序自动执行，操作非常简单，节省了人力资源。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。图1示意性示出根据本公开示例实施方式的集群设备批量传输数据的方法的流程图；图2示意性示出根据本公开示例实施方式的传输程序的流程图；图3为示意性示出根据本公开实际实施方式的集群设备批量传输数据的系统架构图。图4示意性示出根据本公开示例实施方式的集群设备批量传输数据的装置结构框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。图1示意性示出根据本公开示例实施方式的集群设备批量传输数据的方法的流程图。所述源服务器存储有待传数据和传输程序。如图1所示，集群设备批量传输数据的方法，包括如下步骤：步骤S110：通过所述源服务器执行自身储存的所述传输程序。在步骤S110中，源服务器响应用户发送的批量复制待传数据的请求，执行源服务器中储存的传输程序。源服务器执行传输程序，以控制向目标本文档来自技高网...

【技术保护点】
一种集群设备批量传输数据的方法，所述集群设备包括至少一源服务器和多个目标服务器，其特征在于，所述源服务器存储有待传数据和传输程序，所述方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；4)重复步骤2)‑3)，直到将所述待传数据逐层分发至每个目标服务器。

【技术特征摘要】
1.一种集群设备批量传输数据的方法，所述集群设备包括至少一源服务器和多个目标服务器，其特征在于，所述源服务器存储有待传数据和传输程序，所述方法包括：1)通过所述源服务器执行自身储存的所述传输程序；2)根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序；3)通过收到所述待传数据和所述传输程序的目标服务器执行接收的所述传输程序；4)重复步骤2)-3)，直到将所述待传数据逐层分发至每个目标服务器。2.如权利要求1所述的集群设备批量传输数据的方法，其特征在于，还包括：在所述源服务器执行自身储存的所述传输程序之后，创建包括所述多个目标服务器的目标服务器列表。3.如权利要求2所述的集群设备批量传输数据的方法，其特征在于，根据所述传输程序的配置，向所述多个目标服务器中预定数量的目标服务器传输所述待传数据和所述传输程序包括：从所述目标服务器列表中选取所述预定数量的目标服务器；创建包括所述预定数量的目标服务器的当前服务器列表；更新目标服务器列表中目标服务器的数量；向当前服务器列表中的目标服务器传输所述待传数据、传输程序和更新的目标服务器列表。4.如权利要求1所述的集群设备批量传输数据的方法，其特征在于，所述待传数据包括待传文件和待传文件目录。5.一种集群设备批量传输数据的装置，其特征在于，所述装置包括：选取模块，用于从目标服务器列表中选取预定数量的目标服务器；第一创建模块，用于创建包括所述预定数量的目标服务器的当前服务器列表；更新模块，用于更新目标服务器列表中目标服务器的数量；传输模块，用于向当前服务器列表中的目标服务器传输待传数据、批量传输数据的装置副本和更新的目标服务器列表。6.如权利要...

【专利技术属性】
技术研发人员：张楠，彭兴勃，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11