分配数据的方法和装置制造方法及图纸

本发明专利技术公开了分配数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据集群中的节点对输入数据进行抽样，确定抽样结果；根据所述抽样结果，预测输入数据的分布特征；根据所述分布特征，对所述输入数据划分区域；将完成划分后的各个区域的输入数据，与集群中的进程进行匹配。该实施方式针对计算机引擎中输入数据不均衡导致的技术问题，达到大量输入数据在集群中不同节点上运行所采用的时间更为均衡，进而达到提高计算机引擎的运行效率的技术效果。

【技术实现步骤摘要】
分配数据的方法和装置
本专利技术涉及计算机
，尤其涉及一种分配数据的方法和装置。
技术介绍
计算引擎在处理数据时，可能存在同一时间段内执行的任务所消耗的执行时间明显偏高的技术缺陷。所述执行时间明显偏高的任务被称为Straggler型任务。现有技术采用推测执行机制减少所述Straggler型任务的出现。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：当所述Straggler型任务是由输入数据不均匀导致时，所述推测执行机制不能有效解决执行任务、所消耗时间偏长、进而导致总体完成时间增长的技术缺陷。
技术实现思路
有鉴于此，本专利技术实施例提供一种分配数据的方法和装置，能够达到大量输入数据在集群中不同节点上运行所采用的时间更为均衡，进而达到提高计算机引擎的运行效率的技术效果。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种分配数据的方法，包括：根据集群中的节点对输入数据进行抽样，确定抽样结果；根据所述抽样结果，预测输入数据的分布特征；>根据所述分布特征，本文档来自技高网...

【技术保护点】
1.一种分配数据的方法，其特征在于，包括：/n根据集群中的节点对输入数据进行抽样，确定抽样结果；/n根据所述抽样结果，预测输入数据的分布特征；/n根据所述分布特征，对所述输入数据划分区域；/n将完成划分后的各个区域的输入数据，与集群中的进程进行匹配。/n

【技术特征摘要】
1.一种分配数据的方法，其特征在于，包括：
根据集群中的节点对输入数据进行抽样，确定抽样结果；
根据所述抽样结果，预测输入数据的分布特征；
根据所述分布特征，对所述输入数据划分区域；
将完成划分后的各个区域的输入数据，与集群中的进程进行匹配。


2.根据权利要求1所述的方法，其特征在于，根据集群中的节点对输入数据进行抽样，确定抽样结果，包括：
根据弹性分布式数据集，计算集群的总记录条数；
根据所述总记录条数和抽样比例，确定弹性分布式数据集区域抽取样本的数量；
根据所述抽取样本的数量对其对应的弹性分布式数据集区域进行抽样，确定所述区域抽取样本的键值及所述键值的记录数；
将所述键值及其记录数组合生成的集合元祖确定为抽样结果。


3.根据权利要求1所述的方法，其特征在于，根据所述抽样结果，预测输入数据的分布特征，包括：
根据所述抽样结果，构建输入数据的分布直方图；
根据所述分布直方图预测输入数据的分布特征。


4.根据权利要求1所述的方法，其特征在于，
所述区域的数量为所述集群中处理器核数的整数倍。


5.根据权利要求2所述的方法，其特征在于，根据所述分布特征，对所述输入数据划分区域，包括：
确定待划分的区域所容纳的抽样结果的数量上限；
根据所述记录数，将抽样结果进行排序；
判断所述集群中剩余容量最大的区域所占的空间，是否大于最大记录数对应的抽样结果所占的空间；
若是，则将所述最大记录数对应的抽样结果分配至所述剩余容量最大的区域，并修改所述区域的剩余容量；
若否，则确定所述剩余容量最大的区域所占的第一存储空间；确定与所述第一存储空间大小相同的最大记录数对应的抽样结果的子键值对；将所述子键值对分配至所述剩余容量最大的区域；将所述最大记录数对应的抽样结果中未被分配的子键值对与其他区域进行匹配。


6.根据权利要求5所述的方法，其特征在于，将完成划分后的各个区域的输入数据，与集群中的进程进行匹配之前，包括：
初始化集群中节点对应进程的权重、计算能力值和监测次数值；
对于一个进程，若CPU利用率和内存利用率均已达到上限，则对计算能力值和监测次数值均做增值处理；若CPU利用率和...

【专利技术属性】
技术研发人员：王红雁，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11