数据处理方法技术

本发明专利技术提供一种数据处理方法，用于在分散系统中不添加新的节点而提高数据处理速度。所述方法可包括以下步骤：计算相当于分散系统构成节点中所具备的GPU的处理块个数的核换算个数；合计所述分散系统构成节点中所具备的CPU的核具备个数和所述核换算个数来计算核合计个数；将分配到所述分散系统构成节点中的作业数据分割成相当于所述核合计个数的作业单位数据；以及将作业单位数据中相当于所述核具备个数的作业单位数据分配给所述分散系统构成节点中的CPU，并且将相当于所述核换算个数的作业单位数据分配给所述分散系统构成节点中的GPU。

【技术实现步骤摘要】

本专利技术涉及一种在分散系统中处理数据的方法。
技术介绍
[000引化doop和MapRe化ce是能够用于实现分散计算的技术。在该种技术中越增加群 组的大小越进一步增大数据的处理速度，但增加群组的大小是有限制的。因此，需要如下技 术；用于在该种群组中不添加新的节点，而加快数据处理速度的技术。
技术实现思路
本专利技术所要解决的问题是提供一种用于在分散系统中不添加新的节点而提高数 据处理速度的。 本专利技术所要解决的问题并不限于上述所涉及的问题，本领域技术人员从下述的记 载中能明确理解本专利技术没有提及到的其他问题。 为了解决上述问题，本专利技术的的一实施方式可包括W下步骤：计算 相当于分散系统构成节点中所具备的GPU的处理块个数的核换算个数；合计分散系统构成 节点中所具备的CPU的核具备个数和核换算个数来计算核合计个数；将分配到分散系统构 成节点中的作业数据分割成相当于核合计个数的作业单位数据；W及将作业单位数据中相 当于核具备个数的作业单位数据分配给分散系统构成节点中的CPU,并且将相当于核换算 个数的作业单位数据分配给分散系统构成节点中的GPU。 计算所述核合计个数的步骤可包括：参照核换算表来计算所述核换算个数，所述 核换算表W-个GPU处理块个数的平均值为基准，表示一个CPU核换算个数。 计算所述核换算个数的步骤可包括：将与所述作业数据的属性相关的GPU分配加 权值反映到计算出的核换算个数中来计算经修正的核换算个数；计算所述核合计个数的步 骤可包括：合计所述分散系统构成节点中所具备的CPU的核具备个数和所述经修正的核换 算个数来计算核合计个数。 将与所述作业数据的属性相关的GPU分配加权值反映到所述计算出的核换算个 数中来计算经修正的核换算个数的步骤可包括：将相对于所述作业数据的CPU上的处理速 度和GPU上的处理速度进行比较并将表示GPU上的处理速度的提高程度的速度提高指数作 为加权值来反映到所述计算出的核换算个数中。 所述速度提高指数可通过参照表示与所述GPU上的处理速度的提高程度相关的 加权值的速度提高指数表来计算。 相当于所述核换算个数的作业单位数据分别分配给所述分散系统构成节点中的 GPU的步骤可进一步包括；相当于所述核换算个数的作业单位数据被分割成多个数据块并 被分配给各个所述GPU,所述多个数据块构成为各自的大小与各个所述GPU的处理块个数 成正比。 在所述分散系统构成节点中所具备的CPU中的一个CPU上可包括；GPU控制核，用 于进行将所述作业单位数据分配给所述GPU的控制计算。 所述GPU控制核可被排除在所述核具备个数之外，且不被分配所述作业单位数 据。 在所述分散系统构成节点中所具备的CPU中的一个CPU上可包括；作业单位数据 分配核，用于进行将所述作业单位数据分配给另一CPU核的控制计算。 所述作业单位数据分配核可被排除在所述核具备个数之外，且不被分配所述作业 单位数据。 为了解决上述问题，本专利技术的的另一方式可包括W下步骤；W分散 系统构成节点中所具备的第一类型处理器为基准，计算相当于分散系统构成节点中所具备 的多个第二类型处理器个数的处理器换算个数；合计分散系统构成节点中所具备的第一类 型处理器的个数和处理器换算个数来计算处理器合计个数；将分配到分散系统构成节点中 的作业数据分割成相当于处理器合计个数的作业单位数据；将作业单位数据中相当于第一 类型处理器的个数的作业单位数据分配给分散系统构成节点中的第一类型处理器；W及将 作业单位数据中相当于处理器换算个数的作业单位数据分配给分散系统构成节点中的多 个第二类型处理器，相当于处理器换算个数的作业单位数据被分割成多个数据块并被分配 到多个第二类型处理器中的每一个中，所述多个数据块构成为各自的大小与多个第二类型 处理器中的每一个的单位时间作业处理量成正比。 计算所述处理器换算个数的步骤可包括；将与所述作业数据的属性相关的GPU分 配加权值反映到所述处理器换算个数中来计算经修正的处理器换算个数；计算所述处理器 合计个数的步骤可包括：合计所述分散系统构成节点中所具备的所述第一类型处理器的个 数和所述经修正的处理器换算个数来计算处理器合计个数。 本专利技术的其他具体的事项包括在详细的说明及图中。 【附图说明】 图1是用于说明本专利技术的一实施例的分散系统的示意图。 图2是用于说明图1所示的主节点的图。 图3是用于说明图1所示的从节点的图。 图4是用于说明图1所示的从节点的物理结构的图。 图5是用于说明本专利技术的一实施例的的示意图。 图6是用于说明在本专利技术的一实施例的从节点中进行数据处理的过程的图。 图7是用于说明构成本专利技术的一实施例的分散系统的从节点中所具备的CPU和 GPU的图。 图8是用于说明计算相当于构成本专利技术的一实施例的分散系统的从节点中所具 备的GPU的处理块个数的核换算个数的图。 图9是表示根据本专利技术的一实施例将输入数据分配给CPU和GPU的过程的图。 图10是表示根据本专利技术的另一实施例将输入数据分配给CPU和GPU的过程的图。 图11是表示本专利技术的一实施例的的流程图。 图12是表示本专利技术的另一实施例的的流程图。 附图标记说明本文档来自技高网...

【技术保护点】
一种数据处理方法，包括以下步骤：计算相当于分散系统构成节点中所具备的GPU的处理块个数的核换算个数；合计所述分散系统构成节点中所具备的CPU的核具备个数和所述核换算个数来计算核合计个数；将分配到所述分散系统构成节点中的作业数据分割成相当于所述核合计个数的作业单位数据；以及将作业单位数据中相当于所述核具备个数的作业单位数据分配给所述分散系统构成节点中的CPU，并且将相当于所述核换算个数的作业单位数据分配给所述分散系统构成节点中的GPU。

【技术特征摘要】
2013.08.13 KR 10-2013-00961181. 一种数据处理方法，包括以下步骤： 计算相当于分散系统构成节点中所具备的GPU的处理块个数的核换算个数； 合计所述分散系统构成节点中所具备的CPU的核具备个数和所述核换算个数来计算 核合计个数； 将分配到所述分散系统构成节点中的作业数据分割成相当于所述核合计个数的作业 单位数据；以及 将作业单位数据中相当于所述核具备个数的作业单位数据分配给所述分散系统构成 节点中的CPU，并且将相当于所述核换算个数的作业单位数据分配给所述分散系统构成节 点中的GPU。2. 根据权利要求1所述的数据处理方法，其中， 计算所述核换算个数的步骤包括：参照核换算表来计算所述核换算个数，所述核换算 表以一个GPU处理块个数的平均值为基准，表示一个CPU核换算个数。3. 根据权利要求1所述的数据处理方法，其中， 计算所述核换算个数的步骤包括： 将与所述作业数据的属性相关的GPU分配加权值反映到计算出的核换算个数中来计 算经修正的核换算个数； 计算所述核合计个数的步骤包括： 合计所述分散系统构成节点中所具备的CPU的核具备个数和所述经修正的核换算个 数来计算核合计个数。4. 根据权利要求3所述的数据处理方法，其中， 将与所述作业数据的属性相关的GPU分配加权值反映到所述计算出的核换算个数中 来计算经修正的核换算个数的步骤包括： 将相对于所述作业数据的CPU上的处理速度和GPU上的处理速度进行比较并将表示 GPU上的处理速度的提高程度的速度提高指数作为加权值来反映到所述计算出的核换算个 数中。5. 根据权利要求4所述的数据处理方法，其中， 所述速度提高指数通过参照表示与所述GPU上的处理速度的提高程度相关的加权值 的速度提高指数表来计算。6. 根据权利要求1所述的数据处理方法，其中， 相当于所述核换算个数的作业单位数据分别分配给所述分散系统构成节点中的GPU 的步骤进一步包括： 相当于所述核换算个数的作业单位数据被分割成多个数据块并被分配给各个所述 GPU，所述多个数据块构成为...

【专利技术属性】
技术研发人员：士秀多，
申请(专利权)人：三星SDS株式会社，
类型：发明
国别省市：韩国;KR