一种数据处理方法、模型处理方法、电子设备及介质技术

本申请提供一种数据处理方法、模型处理方法、电子设备及介质，该模型处理方法包括：电子设备获取待处理图像数据输入神经网络模型，得到图像处理结果，神经网络模型包括多个分支算子、多个与分支算子对应的截取算子以及目标算子。神经网络模型对待处理图像数据进行的处理方式包括：多个截取算子分别从目标算子中，获取对各自截取算子的关联映射区域，目标算子输出的输出特征图包括关联映射区域，截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果。本申请可以保证处理后的模型获取的输出结果与原模型的输出结果一致。结果一致。结果一致。

【技术实现步骤摘要】
一种数据处理方法、模型处理方法、电子设备及介质


[0001]本申请涉及计算机
，特别涉及一种数据处理方法、模型处理方法、电子设备及介质。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)技术的迅速发展，神经网络模型在人工智能领域的应用越来越广泛。例如可以应用在图像识别、目标检测、增强学习、语义分析等人工智能的关键领域。
[0003]一般情况下，可以通用神经网络处理器(Neural
‑
Network Processing Unit，NPU)运行神经网络模型。随着NPU计算架构由单核架构演变至多核架构，其结构越来越复杂，算力越来越大。对于多核架构，一般通过为可以并行运行的算子分别分配对应的核进行数据处理，以实现多算子的并行运行计算。然而，在一些情况下，会存在核的数量大于需要分配核的算子(即可以并行运行的算子)的数量，容易使得部分未分配任务的核长期处于空闲状态，造成资源的浪费。在对神经网络模型中的算子进行切分后，通过切分后的模型获取的输出结果可能与原模型的输出结果不一致。

技术实现思路

[0004]为解决上述提及的现有技术对算子进行切分后，通过切分后的模型获取的输出结果可能与原模型的输出结果不一致的问题，本申请实施例第一方面提供一种数据处理方法，该数据处理方法可以用于应用于电子设备，该电子设备可以是终端，数据处理方法包括：获取待处理图像数据；将待处理图像数据输入神经网络模型，得到图像处理结果，其中，神经网络模型包括多个分支算子、多个与分支算子对应的截取算子以及目标算子；其中，神经网络模型对待处理图像数据进行的处理方式包括：多个截取算子分别从目标算子中，获取对各自截取算子的关联映射区域，其中，目标算子输出的输出特征图包括关联映射区域；截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果。
[0005]基于上述方案，通过利用截取算子从目标算子的输出特征图中截取仅包含相应分支算子感受野有效区域的特征图，并输入至分支算子。如此可以保证分支算子仅对感受野有效区域的特征图进行特征提取处理，进而可以保证通过处理后的模型获取的输出结果与原模型的输出结果一致。
[0006]在一些可选的实施方式中，获取对各自截取算子的关联映射区域，包括：神经网络模型中的目标算子对待处理图像数据进行特征提取处理，获取目标算子输出的输出特征图；多个分支算子中的每个分支算子对目标算子输出的输出特征图进行特征提取处理，获取每个分支算子输出的输出特征图；基于每个分支算子输出的输出特征图上的任一点在目标算子输出的输出特征图上的映射区域，获取对各自截取算子的关联映射区域。
[0007]在一些可选的实施方式中，截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果，包括：若各自截取算子的关联映射区域与目标算子输出
的输出特征图不重合，截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果。
[0008]为解决上述提及的现有技术中多核架构而言，仅考虑单算子的并行度，容易使得部分未分配任务的处理器长期处于空闲状态，造型资源的浪费的问题，本申请实施例第二方面提供一种模型处理方法，该模型处理方法可以用于应用于电子设备，该电子设备可以是服务器，模型处理方法包括：获取待处理神经网络模型；从待处理神经网络模型中确定算子集合，算子集合包括多个分支算子，且多个分支算子具有对应的目标算子，目标算子输出的输出特征图为多个分支算子的输入特征图；基于算子集合中算子的输出特征图上的点在目标算子的输出特征图中的关联映射区域，在目标算子和每个分支算子之间插入截取算子，获取处理后的神经网络模型。
[0009]基于上述方案，通过对神经网络模型中的算子切分不仅实现增加可以同时运行的算子的数量，可以减少未分配任务处于空闲状态的核的数量，减少资源的浪费，还可以节省神经网络处理器的运行时间，提高处理效率。
[0010]在一些可选的实施方式中，方法还包括：从待处理神经网络模型中确定多个分支算子；其中，从待处理神经网络模型中确定多个分支算子，包括：对于待处理神经网络模型中的任一算子，确定任一算子的输入算子，输入算子输出的输出特征图为任一算子的输入特征图；当任一算子具有多个输入算子时，将多个输入算子确定为任一算子的多个分支算子。
[0011]在一些可选的实施方式中，方法还包括：从待处理神经网络模型中确定目标算子；其中，从待处理神经网络模型中确定目标算子，包括：从待处理神经网络模型中确定多个分支算子中每个分支算子的输入算子，每个分支算子的输入算子输出的输出特征图为每个分支算子的输入特征图；若每个分支算子的输入算子的输入算子为同一算子，将同一算子确定为多个分支算子对应的目标算子。
[0012]在一些可选的实施方式中，从待处理神经网络模型中确定多个分支算子以及目标算子，包括：构建待处理神经网络模型的对应的有向无环图，有向无环图中的节点表征待处理神经网络模型中的算子，有向无环图中的有向边表征算子间的输入输出关系；基于有向无环图中的节点的输入输出关系，从待处理神经网络模型中确定多个分支算子以及目标算子。
[0013]在一些可选的实施方式中，基于有向无环图中的节点的输入输出关系，从待处理神经网络模型中确定多个分支算子以及目标算子，包括：对于有向无环图中的任一节点，若任一节点具有多个输入节点，且多个输入节点的输入节点为同一节点，将多个输入节点所表征的算子确定为多个分支算子，将同一节点所表征的算子确定为目标算子。
[0014]本申请实施例第三方面提供一种电子设备，包括：
[0015]存储器，用于存储由所述电子设备的一个或多个处理器执行的指令，以及
[0016]处理器，是所述电子设备的所述一个或多个处理器之一，用于执行本申请提及的数据处理方法或模型处理方法。
[0017]本申请实施例第四方面提供一种计算机可读介质，所述计算机可读介质上存储有指令，该指令在机器上执行时使机器执行本申请提及的数据处理方法或模型处理方法。
附图说明
[0018]图1为本申请实施例一种模型处理方法的应用场景示意图；
[0019]图2示出了一种神经网络模型的示意图；
[0020]图3示出了一种切分后的神经网络模型的部分结构示意图；
[0021]图4示出了对神经网络处理器中的核进行分配运行相应运算任务的示意图；
[0022]图5示出了一种神经网络模型中特征图之间的映射关系示意图；
[0023]图6示出了一种切分后的神经网络模型模型中特征图之间的映射关系示意图；
[0024]图7示出了一种插入截取算子后，切分后的神经网络模型中特征图之间的映射关系示意图；
[0025]图8为本申请实施例中提供的服务器001的框图；
[0026]图9是本申请实施例提供的一种模型处理方法的示意图；
[0027]图10示出了待处理神经网络模型的部分结构及其对应的有向无环图的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法用于电子设备，所述方法包括：获取待处理图像数据；将所述待处理图像数据输入神经网络模型，得到图像处理结果，其中，所述神经网络模型包括多个分支算子、多个与所述分支算子对应的截取算子以及目标算子；其中，所述神经网络模型对所述待处理图像数据进行的处理方式包括：所述多个截取算子分别从所述目标算子中，获取对各自截取算子的关联映射区域，其中，所述目标算子输出的输出特征图包括所述关联映射区域；所述截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果。2.根据权利要求1所述的方法，其特征在于，所述获取对各自截取算子的关联映射区域，包括：所述神经网络模型中的所述目标算子对所述待处理图像数据进行特征提取处理，获取所述目标算子输出的输出特征图；所述多个分支算子中的每个分支算子对所述目标算子输出的输出特征图进行特征提取处理，获取所述每个分支算子输出的输出特征图；基于每个分支算子输出的输出特征图上的任一点在所述目标算子输出的输出特征图上的映射区域，获取对各自截取算子的关联映射区域。3.根据权利要求1所述的方法，其特征在于，所述截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果，包括：若所述各自截取算子的关联映射区域与所述目标算子输出的输出特征图不重合，所述截取算子将关联映射区域对应的特征图输入该截取算子对应的分支算子，获取输出结果。4.一种模型处理方法，其特征在于，所述方法用于电子设备，所述方法包括：获取待处理神经网络模型；从所述待处理神经网络模型中确定算子集合，所述算子集合包括多个分支算子，且所述多个分支算子具有对应的目标算子，所述目标算子输出的输出特征图为所述多个分支算子的输入特征图；基于所述算子集合中算子的输出特征图上的点在所述目标算子的输出特征图中的关联映射区域，在所述目标算子和每个分支算子之间插入截取算子，获取处理后的神经网络模型。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：从所述待处理神经网络模型中确定多个分支算子；其中，所述从所述待处理神经网络模型中确定多个分支算子，包括：对于所述待处理神经网络模型中的任一算...

【专利技术属性】
技术研发人员：章小龙，黄敦博，金礼森，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：