一种数据处理方法、电子设备及存储介质技术

本申请涉及人工智能技术领域，公开了一种数据处理方法、电子设备及存储介质，在该方法中，通过将模型中部分级联的节点划分为一个节点集合，并将该节点集合中所有节点对应的参数划分为一个参数集合，得到多个参数集合，和/或，将模型中任意一个节点的输入数据划分为多个数据集合，使得多核NPU进行数据处理时，可以采用多核NPU中的多个内核同时加载不同节点集合对应的不同参数集合，并分别对节点集合的输入数据进行处理，和/或，采用多核NPU中的多个内核同时加载同一节点对应的参数集合，并分别对节点的不同数据集合进行处理。如此，可以在保证模型切分前后输入输出数据相同的情况下，减少多核NPU的算力资源的浪费。减少多核NPU的算力资源的浪费。减少多核NPU的算力资源的浪费。

【技术实现步骤摘要】
一种数据处理方法、电子设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种数据处理方法、电子设备及存储介质。

技术介绍

[0002]一般而言，通过将模型部署在多核嵌入式神经网络模型处理器(Neural
‑
network Process Units，NPU)，多核NPU中的内核可以通过加载模型中各节点(即模型中的每一层)对应的参数，对输入数据进行处理，得到输出数据。图1示出了一种循环神经网络模型的部分结构示意图，如图1所示，该循环神经网络模型可以包括输入层110、隐藏层120、输出层130等，其中，输入层110、隐藏层120、输出层130均可以作为一个节点。
[0003]然而，在现有数据处理方案中，由于模型的层与层之间的耦合性强、并行度低，多核NPU中一般利用一个内核加载模型中所有节点的参数，实现对输入数据的处理，如此造成多核NPU的算力资源的浪费。

技术实现思路

[0004]为解决多核嵌入式神经网络模型处理器的算力资源的浪费的问题，本申请实施例提供一种数据处理方法、电子设备及存储介质。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，用于电子设备，其特征在于，所述电子设备包括第一处理器，所述第一处理器包括多个内核；并且所述方法包括：获取到第一模型的第一输入数据；基于所述第一模型的切分信息，确定将所述第一模型中的参数分为多个参数集合，以及确定所述第一输入数据中需要基于各参数集合进行处理的子数据；采用与所述各参数集合分别对应的内核，对各子数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述参数集合包括所述第一模型中第一节点集合对应的第一参数集合，所述需要基于参数集合进行处理的子数据包括第一子数据，所述参数集合对应的内核包括第一内核，所述采用与所述各参数集合分别对应的内核，对各子数据进行处理，包括：采用所述第一内核，对所述第一子数据进行处理。3.根据权利要求1所述的方法，其特征在于，所述参数集合包括所述第一模型中第一节点集合对应的第一参数集合，所述需要基于参数集合进行处理的子数据为第一子数据，所述参数集合对应的内核包括第一内核和第二内核，所述采用与所述各参数集合分别对应的内核，对各子数据进行处理，包括：采用所述第一内核，对所述第一子数据中的第一部分子数据进行处理，并且采用所述第二内核，对所述第一子数据中的第二部分子数据进行处理。4.根据权利要求2所述的方法，其特征在于，所述采用所述第一内核，对所述第一子数据进行处理，包括：采用所述第一内核加载所述第一参数集合，对所述第一子数据进行处理。5.根据权利要求3所述的方法，其特征在...

【专利技术属性】
技术研发人员：高峰，王旭明，袁文宇，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：