一种数据处理方法、电子设备及存储介质技术

本申请涉及人工智能技术领域，公开了一种数据处理方法、电子设备及存储介质，在数据处理方法中，通过设置将模型中每个处理层的输入数据集合划分为多个数据子集合的信息。在多核NPU进行数据处理时，可以读取存储器中的切分信息，并基于切分信息，采用多核NPU中的多个内核同时加载同一处理层的参数，并分别对同一处理层的不同数据子集合进行处理。如此，通过同时采用多核NPU中的多个内核进行数据处理，可以在保证模型切分前后输入输出数据相同的情况下，减少多核NPU的算力资源的浪费。减少多核NPU的算力资源的浪费。减少多核NPU的算力资源的浪费。

【技术实现步骤摘要】
一种数据处理方法、电子设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种数据处理方法、电子设备及存储介质。

技术介绍

[0002]一般而言，通过将模型部署在多核嵌入式神经网络模型处理器(Neural
‑
network Process Units，NPU)，多核NPU中的内核可以通过加载模型中各层对应的参数，对输入数据进行处理，得到输出数据。图1示出了一种循环神经网络模型的部分结构示意图，如图1所示，该循环神经网络模型可以包括输入层110、隐藏层120、输出层130等。
[0003]然而，在现有数据处理方案中，由于模型的层与层之间的耦合性强、并行度低，多核NPU中一般利用一个内核加载模型中所有层对应的参数，实现对输入数据的处理，如此造成多核NPU的算力资源的浪费。

技术实现思路

[0004]为解决多核嵌入式神经网络模型处理器的算力资源的浪费的问题，本申请实施例提供一种数据处理方法、电子设备及存储介质。
[0005]本申请实施例第一方面提供一种数据处理方法，电子设备包括第一处理器，第一处理器包括多个内核；并且方法包括：获取到第一模型的第一输入数据；基于第一模型中各处理层的切分信息，将第一输入数据切分为多个输入数据子集合；采用处理层对应的多个内核，对处理层所需处理的第一输入数据的各输入数据子集合进行处理。
[0006]基于上述方案，通过同时采用多核NPU中的多个内核进行数据处理，可以在保证模型切分前后输入输出数据相同的情况下，减少多核NPU的算力资源的浪费。
[0007]可以理解，第一处理器可以为多核嵌入式神经网络模型处理器。第一模型为神经网络模型。第一输入数据可以包括图像数据、文本数据、音频数据，对各子数据进行处理可以包括对图像数据进行图像特征提取、对文本数据进行文本特征提出处理、对音频数据进行音频特征提取处理，得到如像素、字符、音频信号等。
[0008]可以理解，切分信息可以包含将模型中每个处理层的输入数据集合划分为多个数据子集合的信息。
[0009]在上述第一方面的一种可能实现中，处理层所需处理的第一输入数据的各部分数据包括第一数据子集合、第二数据子集合和第三数据子集合，处理层对应的多个内核包括第一内核、第二内核和第三内核，采用处理层对应的多个内核，对处理层所需处理的第一输入数据的各输入数据子集合进行处理，包括：采用第一内核，对第一数据子集合进行处理，并且采用第二内核，对第二数据子集合进行处理，并且采用第三内核，对第三数据子集合进行处理。
[0010]在上述第一方面的一种可能实现中，采用第一内核，对第一数据子集合进行处理，包括：采用第一内核加载处理层的参数，对第一数据子集合进行处理，输出第四数据子集
合；并且采用第二内核，对第二数据子集合进行处理，包括：采用第二内核加载处理层的参数，对第二数据子集合进行处理，输出第五数据子集合；并且采用第二内核，对第二数据子集合进行处理，包括：采用第三内核加载处理层的参数，对第三数据子集合进行处理，输出第六数据子集合。
[0011]在上述第一方面的一种可能实现中，还包括：将第一数据子集合和第四数据子集合存储至第一内核的第一内部存储空间，并且将第二数据子集合和第五数据子集合存储至第二内核的第二内部存储空间，并且将第三数据子集合和第六数据子集合存储至第三内核的第三内部存储空间。
[0012]本申请实施例中通过将第一内核对应的数据存储至第一内核的内部存储空间，将第二内核对应的数据存储至第二内核的内部存储空间，相较于单个内核处理整个第一输入数据，并存储至单个内核的内部存储空间，可以缓解单个内核的存储压力，并且，相较于存储至外部存储器，可以直接从内核的内部存储器中读取数据，无需基于总线从外部存储器中读取数据，可以在缓解单个内核的存储压力的同时，减少对外部存储器的访问次数，提高数据处理效率，减少数据读取延迟。
[0013]在上述第一方面的一种可能实现中，第一处理器为多核嵌入式神经网络模型处理器，第一模型为神经网络模型，第一输入数据包括图像数据、文本数据、音频数据。
[0014]在上述第一方面的一种可能实现中，第一模型包括依次连接的第一切分层、第二切分层、第一处理层、第三切分层、第一连接层、第四切分层、第五切分层、第二处理层、第六切分层和第二连接层。
[0015]在一些可选的实例中，设置第一切分层将第一输入数据集合中的数据a1
‑
a12划分为第一输入数据子集合，将第一输入数据集合中的数据a9
‑
a22划分为第二输入数据子集合，将第一输入数据集合中的数据a19
‑
a30划分为第三输入数据子集合。第二切分层将第一输入数据子集合中的a1
‑
a12划分为第四输入数据子集合，将第二输入数据子集合中的数据a9
‑
a22划分为第五输入数据子集合，将第三输入数据子集合中的数据a19
‑
a30划分为第六输入数据子集合。并且，设置第三切分层将输出数据b1
‑
b11中的数据b1
‑
b10划分为第一输出数据子集合，将输出数据b10
‑
b21中的数据b11
‑
b20划分为第二输出数据子集合，将输出数据b20
‑
b30中的数据b21
‑
b30划分为第三输出数据子集合。设置第四切分层将第二输入数据集合b1
‑
b30中的数据b1
‑
b11划分为第七输入数据子集合，将第二输入数据集合b1
‑
b30中的数据b10
‑
b21划分为第八输入数据子集合，将第二输入数据集合b1
‑
b30中的数据b20
‑
b30划分为第九输入数据子集合。第五切分层将第七输入数据子集合中的数据b1
‑
b11划分为第十输入数据子集合，将第八输入数据子集合中的数据b10
‑
b21划分为第十一输入数据子集合，将第九输入数据子集合中的数据b20
‑
b30划分为第十二输入数据子集合。并且，设置第六切分层将输出数据c1
‑
c10中的数据c1
‑
c10划分为第四输出数据子集合，将输出数据c11
‑
c20中的数据c11
‑
c20划分为第五输出数据子集合，将输出数据c21
‑
c30中的数据c21
‑
c30划分为第六输出数据子集合。
[0016]在上述第一方面的一种可能实现中，第一模型包括依次连接的第一切分层、第二切分层、第一处理层、第三切分层、第二处理层、第四切分层和连接层。
[0017]在一些可选的实例中，设置第一切分层将第一输入数据集合中的数据a1
‑
a12划分为第一输入数据子集合，将第一输入数据集合中的数据a9
‑
a22划本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，用于电子设备，其特征在于，所述电子设备包括第一处理器，所述第一处理器包括多个内核；并且所述方法包括：获取到第一模型的第一输入数据；基于所述第一模型中各处理层的切分信息，将所述第一输入数据切分为多个输入数据子集合；采用所述处理层对应的多个内核，对所述处理层所需处理的所述第一输入数据的各输入数据子集合进行处理。2.根据权利要求1所述的方法，其特征在于，所述处理层所需处理的所述第一输入数据的各部分数据包括第一数据子集合、第二数据子集合和第三数据子集合，所述处理层对应的多个内核包括第一内核、第二内核和第三内核，所述采用所述处理层对应的多个内核，对所述处理层所需处理的所述第一输入数据的各输入数据子集合进行处理，包括：采用所述第一内核，对所述第一数据子集合进行处理，并且采用所述第二内核，对所述第二数据子集合进行处理，并且采用所述第三内核，对所述第三数据子集合进行处理。3.根据权利要求2所述的方法，其特征在于，所述采用所述第一内核，对所述第一数据子集合进行处理，包括：采用所述第一内核加载所述处理层的参数，对所述第一数据子集合进行处理，输出第四数据子集合；并且所述采用所述第二内核，对所述第二数据子集合进行处理，包括：采用所述第二内核加载所述处理层的参数，对所述第二数据子集合进行处理，输出第五数据子集合；并且所述采用所述第二内核，对所述第二数据子集合进行处理，包括：采用所述第三内核加载所述处理层的参数，对所述第三数据子集合进行处理，输出第六数据子集合。4.根据权利要求3所述的方法，...

【专利技术属性】
技术研发人员：高峰，王旭明，章小龙，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：