The embodiment of this application provides a data allocation method and related products. The method includes acquiring the hardware resource allocation information reported by each node of P nodes, obtaining the hardware resource allocation information corresponding to each node, acquiring the first data to be processed, and importing the first data to be processed according to the hardware resource allocation information of P nodes. Line partitioning results in P data blocks, and each hardware resource allocation information corresponds to a data block. The P data blocks are distributed to the corresponding nodes of the P nodes for processing. The application embodiment can improve the data processing efficiency of computer cluster.
【技术实现步骤摘要】
数据分配方法及相关产品
本申请涉及数据分配
,具体涉及一种数据分配方法及相关产品。
技术介绍
随着电子技术的快速发展,计算机集群技术也得到了快速发展,计算机集群可以简单地理解为,通过服务器与多个节点建立一个集群,在数据处理过程中,将所有数据平均存放在搜索集群的各个服务节点中,降低了计算机集群数据处理效率。
技术实现思路
本申请实施例提供了一种数据分配方法及相关产品,可以提升计算机集群数据处理效率。本申请实施例第一方面提供了一种数据分配方法,包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。可选地,所述方法还包括:检测到出现Q个新节点时,获取第二待处理数据,所述Q为正整数;预估所述Q个新节点中的每一新节点的上限处理数据量,得到Q个上限处理数据量;在所述第二待处理数据的数据量大于所述Q个上限处理数据量的总和时,依据所述Q个上限处理数据量将所述第二待处理数据划分为第一数据集和第二数据集,将所述第一数据集由所述Q个新节点进行分配,将所述第二数据集由所述P个节点进行分配;在所述第二待处理数据的数据量小于或等于所述Q个上限处理数据量的总和时,获取所述Q个新节点的硬件资源配置信息,并依据该Q个新节点的硬件资源配置信息将所述第二待处理数据进行划分,得到Q个数据块,将所述Q个数据块分别分发给所述Q个新节点相应的节点进行处理。进 ...
【技术保护点】
1.一种数据分配方法,其特征在于,包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。
【技术特征摘要】
1.一种数据分配方法,其特征在于,包括:获取P个节点中每一节点上报的硬件资源配置信息,得到P个硬件资源配置信息,每一节点对应一个硬件资源配置信息;获取第一待处理数据;依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,每一硬件资源配置信息对应一数据块;将所述P个数据块分别分发给所述P个节点中相应的节点进行处理。2.根据权利要求1所述的方法,其特征在于,所述依据所述P个硬件资源配置信息将所述第一待处理数据进行划分,得到P个数据块,包括:依据所述P个硬件资源配置信息确定所述P个节点中每一节点的性能评价值,得到P个性能评价值;依据所述P个性能评价值确定所述P个节点中每一节点对应的分配比例值,得到P个分配比例值,所述P个分配比例值之和为1;依据所述P个分配比例值将所述第一待处理数据进行划分,得到所述P个数据块。3.根据权利要求2所述的方法,其特征在于,所述硬件资源配置信息包括:中央处理器的核数、内存大小和负载值;所述依据所述P个硬件资源配置信息确定所述P个节点中每一节点的性能评价值,得到P个性能评价值,包括:按照预设的核数与第一评价值之间的映射关系,确定硬件资源配置信息i中的核数对应的目标第一评价值,所述硬件资源配置信息i为所述P个硬件配置资源信息中的任一硬件资源配置信息;按照预设的内存大小与第二评价值之间的映射关系,确定所述硬件资源配置信息i中的内存大小对应的目标第二评价值;按照预设的负载值与第三评价值之间的映射关系,确定所述硬件资源配置信息i中的负载值对应的目标第三评价值;获取所述第一评价值对应的第一权值、所述第二评价值对应的第二权值以及所述第三评价值对应的第三权值,所述第一权值、所述第二权值与所述第三权值之和为1;依据所述目标第一评价值、所述目标第二评价值、所述目标第三评价值、所述第一权值、所述第二权值和所述第三权值进行加权运算,得到所述硬件资源配置信息i对应的评价值。4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:检测到出现Q个新节点时,获取第二待处理数据,所述Q为正整数;预估所述Q个新节点中的每一新节点的上限处理数据量,得到Q个上限处理数据量;在所述第二待处理数据的数据量大于所述Q个上限处理数据量的总和时,依据所述Q个上限处理数据量将所述第二待处理数据划分为第一数据集和第二数据集,将所述第一数据集由所述Q个新节点进行分配,将所述第二数据集由所述P个节点进行分配;在所述第二待处理数据的数据量小于或等于所述Q个上限处理数据量的总和时,获取所述Q个新节点的硬件资源配置信息,并依据该Q个新节点的硬件资源配置信息将所述第二待处理数据进行划分,得到Q个数据块,将所述Q个数据...
【专利技术属性】
技术研发人员:刘国伟,
申请(专利权)人:深圳云天励飞技术有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。