基于众核架构的数据处理方法、装置、设备及存储介质制造方法及图纸

本申请涉及计算机技术领域，尤其涉及一种基于众核架构的数据处理方法、装置、设备及存储介质，所述方法包括：获取目标任务对应的原始计算图；对每个数据依赖关系组中的生产者结点以及消费者结点进行结点数据对齐处理，得到目标依赖关系组；基于所述目标依赖关系组生成目标计算图；基于已部署所述目标计算图的众核架构进行数据处理，得到与所述目标任务对应的数据处理结果；所述众核架构中的核单元与所述目标计算图中的算子结点对应；所述目标计算图中各算子结点之间的路由代价表征所述众核架构中各核单元之间的路由通信量。本申请能够降低众核架构中核与核之间的路由通信量以及路由时间，提高路由效率。提高路由效率。提高路由效率。

【技术实现步骤摘要】
基于众核架构的数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种基于众核架构的数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能的发展，神经网络等人工智能算法被应用到越来越多的领域。在编译领域，计算图是一种常用的表达神经网络的抽象表示。在计算图中，计算图的结点表示一块数据或一次计算操作，计算图的边表示结点之间的数据传递关系（或数据依赖关系）。除了神经网络之外，计算图也可以表达高性能计算、图形学、科学计算与仿真等计算过程。
[0003]近年来，众核架构逐渐成为了一种用于高效执行计算图的架构。将计算图部署到众核架构时，计算图的不同结点可以分布在众核架构的不同核上执行。在众核架构上，核与核之间通过路由来进行通信，由于核与核之间的路由量（数据通信量）可能会很大，所以核与核之间的路由时间（数据通信时间）便很可能成为众核架构执行计算图的性能瓶颈。

技术实现思路

[0004]本申请所要解决的技术问题在于，提供一种基于众核架构的数据处理方法、装置、设备及存储介质，能够降低计算图中各算子结点之间的路由代价，进而在将计算图部署到众核架构时，能够降低核与核之间的路由通信量以及路由时间，提高路由效率。
[0005]为了解决上述技术问题，一方面，本申请提供了一种基于众核架构的数据处理方法，包括：获取目标任务对应的原始计算图；所述原始计算图包括多个算子结点，具有数据依赖关系的算子结点形成至少一个数据依赖关系组，每个数据依赖关系组中包括一个消费者结点以及与所述消费者结点对应的至少一个生产者结点；对每个数据依赖关系组中的生产者结点以及消费者结点进行结点数据对齐处理，得到目标依赖关系组；所述目标依赖关系组中的生产者结点与消费者结点之间的路由代价，小于所述每个数据依赖关系组中的生产者结点与消费者结点之间的路由代价；基于所述目标依赖关系组生成目标计算图；基于已部署所述目标计算图的众核架构进行数据处理，得到与所述目标任务对应的数据处理结果；所述众核架构中的核单元与所述目标计算图中的算子结点对应；所述目标计算图中各算子结点之间的路由代价表征所述众核架构中各核单元之间的路由通信量。
[0006]另一方面，本申请提供了一种基于众核架构的数据处理装置，包括：原始计算图获取模块，用于获取目标任务对应的原始计算图；所述原始计算图包括多个算子结点，具有数据依赖关系的算子结点形成至少一个数据依赖关系组，每个数据依赖关系组中包括一个消费者结点以及与所述消费者结点对应的至少一个生产者结点；数据对齐处理模块，用于对每个数据依赖关系组中的生产者结点以及消费者结点进行结点数据对齐处理，得到目标依赖关系组；所述目标依赖关系组中的生产者结点与消
费者结点之间的路由代价，小于所述每个数据依赖关系组中的生产者结点与消费者结点之间的路由代价；目标计算图生成模块，用于基于所述目标依赖关系组生成目标计算图；数据处理模块，用于基于已部署所述目标计算图的众核架构进行数据处理，得到与所述目标任务对应的数据处理结果；所述众核架构中的核单元与所述目标计算图中的算子结点对应；所述目标计算图中各算子结点之间的路由代价表征所述众核架构中各核单元之间的路由通信量。另一方面，本申请提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的基于众核架构的数据处理方法。
[0007]另一方面，本申请提供了一种计算机存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上述的基于众核架构的数据处理方法。
[0008]实施本申请实施例，具有如下有益效果：本申请通过对原始计算图中数据依赖关系组的生产者结点以及消费者结点进行结点数据对齐，得到目标依赖关系组，经过结点数据对齐处理之后的目标依赖关系组中的生产者结点以及消费者结点之间的路由代价，小于经过结点数据对齐处理之前的数据依赖关系组中的生产者结点与消费者结点之间的路由代价；即基于对原始计算图中的各算子结点进行结点数据对齐处理，能够降低计算图中各算子结点之间的路由代价，进而将经过结点数据对齐处理之后的目标计算图部署到众核架构上进行数据计算时，能够降低众核架构中核单元与核单元之间的路由通信量以及路由时间，提高路由效率。
附图说明
[0009]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0010]图1是本申请实施例提供的实施环境示意图；图2是本申请实施例提供的一种基于众核架构的数据处理方法流程图；图3是本申请实施例提供的一种结点数据对齐处理方法流程图；图4是本申请实施例提供的一种对消费者结点中的循环进行更新的方法流程图；图5是本申请实施例提供的另一种结点数据对齐处理方法流程图；图6是本申请实施例提供的一种对生产者结点中的循环进行更新的方法流程图；图7是本申请实施例提供的又一种结点数据对齐处理方法流程图；图8是本申请实施例提供的维度依赖图示例图；图9是本申请实施例提供的维度依赖图第一示意图；图10是本申请实施例提供的维度依赖图第二示意图；图11是本申请实施例提供的维度依赖图第三示意图；图12是本申请实施例提供的一种基于众核架构的数据处理装置示意图；
图13是本申请实施例提供的一种电子设备结构示意图。
具体实施方式
[0011]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0012]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0013]请参阅图1，其示出了本申请实施例提供的实施环境示意图，该实施环境可包括：数据处理集群110、处理终端120以及任务提交端130；数据处理集群110基于众核架构实现，一个核单元可以是指一个处理器，数据处理集群110中的每个结点上可部署至少一个核单元；其中，处理终端120与数据处理集群110可通过网络进行数据通信，任务提交端130与处理终端120可通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于众核架构的数据处理方法，其特征在于，包括：获取目标任务对应的原始计算图；所述原始计算图包括多个算子结点，具有数据依赖关系的算子结点形成至少一个数据依赖关系组，每个数据依赖关系组中包括一个消费者结点以及与所述消费者结点对应的至少一个生产者结点；对每个数据依赖关系组中的生产者结点以及消费者结点进行结点数据对齐处理，得到目标依赖关系组；所述目标依赖关系组中的生产者结点与消费者结点之间的路由代价，小于所述每个数据依赖关系组中的生产者结点与消费者结点之间的路由代价；基于所述目标依赖关系组生成目标计算图；基于已部署所述目标计算图的众核架构进行数据处理，得到与所述目标任务对应的数据处理结果；所述众核架构中的核单元与所述目标计算图中的算子结点对应；所述目标计算图中各算子结点之间的路由代价表征所述众核架构中各核单元之间的路由通信量。2.根据权利要求1所述的方法，其特征在于，所述每个数据依赖关系组中的生产者结点包括至少一层循环以及第一计算单元，所述每个数据依赖关系组中的消费者结点包括至少一层循环以及第二计算单元；所述对每个数据依赖关系组中的生产者结点以及消费者结点进行结点数据对齐处理，得到目标依赖关系组，包括：在所述生产者结点包括第一类生产者结点的情况下，确定所述第一计算单元与所述第二计算单元的第一参数对应关系；所述原始计算图中具有数据依赖关系的算子结点通过边相连，所述第一类生产者结点在所述原始计算图中的入度大于零；基于所述第一参数对应关系对所述消费者结点的所述至少一层循环中的循环变量进行变量替换，得到与所述消费者结点对应的第一更新循环；更新循环后的消费者结点与所述第一类生产者结点之间的路由代价，小于更新循环前的消费者结点与所述第一类生产者结点之间的路由代价；基于所述消费者结点对应的第一更新循环，得到所述目标依赖关系组。3.根据权利要求2所述的方法，其特征在于，所述消费者结点包括多层循环，所述第二计算单元包括与所述多层循环分别对应的坐标参数；所述确定所述第一计算单元与所述第二计算单元的第一参数对应关系，包括：将所述多层循环中至少一层循环对应的坐标参数与所述第一计算单元中相应循环对应的坐标参数进行参数关系分析，得到所述至少一层循环对应的参数对应关系；基于所述至少一层循环对应的参数对应关系，确定所述第一参数对应关系；所述基于所述第一参数对应关系对所述每个数据依赖关系组中的消费者结点的所述至少一层循环中的循环变量进行变量替换，得到与所述消费者结点对应的第一更新循环，包括：对所述消费者结点的所述多层循环进行遍历，对每层循环执行以下操作：在当前循环对应的参数对应关系包括第一参数映射信息的情况下，基于所述第一参数映射信息对所述当前循环中的循环变量进行变量替换，得到所述当前循环对应的已更新循环；所述第一参数映射信息表征所述当前循环对应的坐标参数与所述第一计算单元中相应循环对应的坐标参数的映射关系；基于至少一个已更新循环得到所述第一更新循环。
4.根据权利要求2所述的方法，其特征在于，所述在所述每个数据依赖关系组中的生产者结点包括第一类生产者结点的情况下，确定所述第一计算单元与所述第二计算单元的第一参数对应关系，包括：在所述第一类生产者结点的数量为多个的情况下，确定每个第一类生产者结点的第一计算单元与所述第二计算单元的参数对应关系；基于所述每个第一类生产者结点的第一计算单元与所述第二计算单元的参数对应关系，确定所述第一参数对应关系。5.根据权利要求2所述的方法，其特征在于，所述基于所述第一参数对应关系对所述每个数据依赖关系组中的消费者结点的所述至少一层循环中的循环变量进行变量替换，得到与所述消费者结点对应的第一更新循环之后，所述方法还包括：在所述生产者结点包括第二类生产者结点的情况下，确定所述第一计算单元与所述第二计算单元的第二参数对应关系；所述第二类生产者结点在所述原始计算图中的入度等于零；基于所述第二参数对应关系对所述第二类生产者结点的所述至少一层循环中的循环变量进行变量替换，得到与所述第二类生产者结点对应的第二更新循环；所述第二更新循环下所述第一计算单元的循环次序与所述第二计算单元的循环次序一致；所述基于所述消费者结点对应的第一更新循环，得到所述目标依赖关系组，包括：基于所述第一更新循环以及所述第二更新循环，得到所述目标依赖关系组。6.根据权利要求5所述的方法，其特征在于，所述第二类生产者结点包括多层循环，所述第一计算单元包括与所述多层循环分别对应的坐标参数；所述在所述每个数据依赖关系组中的生产者结点包括第二类生产者结点的情况下，确定所述第一计算单元与所述第二计算单元的第二参数对应关系，包括：将所述多层循环中至少一层循环对应的坐标参数与所述第二计算单元中相应循环对应的坐标参数进行参数关系分析，得到所述至少一层循环对应的参数对应关系；基于所述至少一层循环对应的参数对应关系，确定所述第二参数对应关系；所述基于所述第二参数对应关系对所述第二类生产者结点的所述至少一层循环中的循环变量进行变量替换，得到与所述第二类生产者结点对应的第二更新循环，包括：对所述第二类生产者结点的所述多层循环进行遍历，对每层循环执行以下操作：在当前循环对应的参数对应关系包括第二参数映射信息的情况下，基于所述第二参数映射信息对所述当前循环中的循环变量进行变量替换，得到所述当前循环对应的已更新...

【专利技术属性】
技术研发人员：章威，赵蓉，刘学，蔡炎松，裴京，吴海建，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：