数据分配方法及相关产品组成比例

技术编号:21199825 阅读:19 留言:0更新日期:2019-05-25 01:14
本申请实施例提供了一种数据分配方法及相关产品,所述方法包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。通过本申请实施例可以提升计算机集群数据处理效率。

Data Distribution Method and Related Products

The embodiment of this application provides a data allocation method and related products. The method includes acquiring the hardware resource allocation information reported by each node of P nodes, obtaining the hardware resource allocation information corresponding to each node, acquiring the first data to be processed, and importing the first data to be processed according to the hardware resource allocation information of P nodes. Line partitioning results in P data blocks, and each hardware resource allocation information corresponds to a data block. The P data blocks are distributed to the corresponding nodes of the P nodes for processing. The application embodiment can improve the data processing efficiency of computer cluster.

【技术实现步骤摘要】
数据分配方法及相关产品
本申请涉及数据分配
,具体涉及一种数据分配方法及相关产品。
技术介绍
随着电子技术的快速发展,计算机集群技术也得到了快速发展,计算机集群可以简单地理解为,通过服务器与多个节点建立一个集群,在数据处理过程中,将所有数据平均存放在搜索集群的各个服务节点中,降低了计算机集群数据处理效率。
技术实现思路
本申请实施例提供了一种数据分配方法及相关产品,可以提升计算机集群数据处理效率。本申请实施例第一方面提供了一种数据分配方法,包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。可选地,所述方法还包括:检测到出现Q个新节点时,获取第二待处理数据,所述Q为正整数;预估所述Q个新节点中的每一新节点的上限处理数据量,得到Q个上限处理数据量;在所述第二待处理数据的数据量大于所述Q个上限处理数据量的总和时,依据所述Q个上限处理数据量将所述第二待处理数据划分为第一数据集和第二数据集,将所述第一数据集由所述Q个新节点进行分配,将所述第二数据集由所述P个节点进行分配;在所述第二待处理数据的数据量小于或等于所述Q个上限处理数据量的总和时,获取所述Q个新节点的硬件资源配置信息,并依据该Q个新节点的硬件资源配置信息将所述第二待处理数据进行划分,得到Q个数据块,将所述Q个数据块分别分发给所述Q个新节点相应的节点进行处理。进一步可选地,所述预估所述Q个新节点中的每一新节点的上限处理数据量,包括:获取新节点j的至少一个子节点,所述新节点j为所述Q个新节点中的任一新节点;确定所述至少一个子节点的数据处理上限值,得到至少一个数据处理上限值;获取所述新节点j的目标硬件资源配置信息;按照预设的硬件资源配置信息与额定上限数据处理量之间的映射关系,确定所述目标硬件资源配置信息对应的目标额定上限数据处理量;将所述目标额定上限数据处理量与所述至少一个数据处理上限值之间的差值作为所述新节点j的上限数据处理量。本申请实施例第二方面提供了一种数据分配装置,包括:第一获取单元,用于获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;第二获取单元,用于获取第一待处理数据;划分单元,用于依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;分发单元,用于将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。第三方面,本申请实施例提供一种服务器,包括处理器、存储器以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。实施本申请实施例,具备如下有益效果:可以看出,通过本申请实施例所描述的数据分配方法及相关产品,获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息,获取第一待处理数据,依据P个硬件资源配置信息将第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块,将P个数据块分别分发给P个节点中相应的节点进行处理,如此,能够确定P个节点每个上报节点的硬件资源配置信息,并依据该硬件资源配置信息将待处理数据划分为P份,并分发给相应的节点,实现了依据节点性能进行数据分配,充分发挥了每一节点的处理能力,提升了数据处理效率。附图说明为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1A是本申请实施例提供的一种数据分配方法的实施例流程示意图;图1B是本申请实施例提供的计算机集群的演示示意图;图1C是本申请实施例提供的zookeeper的结构示意图;图2是本申请实施例提供的一种数据分配方法的另一实施例流程示意图;图3A是本申请实施例提供的一种数据分配装置的实施例结构示意图;图3B是本申请实施例提供的一种数据分配装置的另一实施例结构示意图;图3C是本申请实施例提供的一种数据分配装置的另一实施例结构示意图;图4是本申请实施例提供的一种数据分配装置的实施例结构示意图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。本申请实施例所描述的节点可以包括智能手机(如Android手机、iOS手机、WindowsPhone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID,MobileInternetDevices)或穿戴式设备等,上述仅是举例,而非穷举,包含但不限于上述装置,当然,上述节点还可以为服务器,本申请实施例中,服务器可以为云服务器或者集群服务器。请参阅图1A,为本申请实施例提供的一种数据分配方法的实施例流程示意图。本实施例中所描述的数据分配方法,包括以下步骤:101、获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息。其中,上述硬件资源配置信息可以为以下至少一种:中央处理器CPU的核数、内存大小、负载值、是否为固态硬盘(SolidStateDrives)等等在此不做限定。具体地,如图1B所示,服务器可以与P个节点之间建立通信连接,服务器可以接收P个节点上报的硬件资源配置信息,每本文档来自技高网...

【技术保护点】
1.一种数据分配方法,其特征在于,包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。

【技术特征摘要】
1.一种数据分配方法,其特征在于,包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。2.根据权利要求1所述的方法,其特征在于,所述依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,包括:依据所述P个硬件资源配置信息确定所述P个节点中每一节点的性能评价值,得到P个性能评价值;依据所述P个性能评价值确定所述P个节点中每一节点对应的分配比例值,得到P个分配比例值,所述P个分配比例值之和为1;依据所述P个分配比例值将所述第一待处理数据进行划分,得到所述P个数据块。3.根据权利要求2所述的方法,其特征在于,所述硬件资源配置信息包括:中央处理器的核数、内存大小和负载值;所述依据所述P个硬件资源配置信息确定所述P个节点中每一节点的性能评价值,得到P个性能评价值,包括:按照预设的核数与第一评价值之间的映射关系,确定硬件资源配置信息i中的核数对应的目标第一评价值,所述硬件资源配置信息i为所述P个硬件配置资源信息中的任一硬件资源配置信息;按照预设的内存大小与第二评价值之间的映射关系,确定所述硬件资源配置信息i中的内存大小对应的目标第二评价值;按照预设的负载值与第三评价值之间的映射关系,确定所述硬件资源配置信息i中的负载值对应的目标第三评价值;获取所述第一评价值对应的第一权值、所述第二评价值对应的第二权值以及所述第三评价值对应的第三权值,所述第一权值、所述第二权值与所述第三权值之和为1;依据所述目标第一评价值、所述目标第二评价值、所述目标第三评价值、所述第一权值、所述第二权值和所述第三权值进行加权运算,得到所述硬件资源配置信息i对应的评价值。4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:检测到出现Q个新节点时,获取第二待处理数据,所述Q为正整数;预估所述Q个新节点中的每一新节点的上限处理数据量,得到Q个上限处理数据量;在所述第二待处理数据的数据量大于所述Q个上限处理数据量的总和时,依据所述Q个上限处理数据量将所述第二待处理数据划分为第一数据集和第二数据集,将所述第一数据集由所述Q个新节点进行分配,将所述第二数据集由所述P个节点进行分配;在所述第二待处理数据的数据量小于或等于所述Q个上限处理数据量的总和时,获取所述Q个新节点的硬件资源配置信息,并依据该Q个新节点的硬件资源配置信息将所述第二待处理数据进行划分,得到Q个数据块,将所述Q个数据...

【专利技术属性】
技术研发人员:刘国伟
申请(专利权)人:深圳云天励飞技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1