一种数据处理方法、电子设备及存储介质技术

本申请涉及人工智能技术领域，公开了一种数据处理方法、电子设备及存储介质，在数据处理方法中，通过将模型中部分连接的处理层划分为一个处理层集合，并将该处理层集合中所有处理层对应的参数划分为一个参数集合，得到多个参数集合。在多核NPU进行数据处理时，可以读取存储器中的切分信息，并基于切分信息，采用多核NPU中的多个内核同时加载不同处理层集合对应的不同参数集合，并分别对处理层集合的输入数据进行处理。如此，通过同时采用多核NPU中的多个内核进行数据处理，可以在保证模型切分前后输入输出数据相同的情况下，减少多核NPU的算力资源的浪费。算力资源的浪费。算力资源的浪费。

【技术实现步骤摘要】
一种数据处理方法、电子设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种数据处理方法、电子设备及存储介质。

技术介绍

[0002]一般而言，通过将模型部署在多核嵌入式神经网络模型处理器(Neural
‑
network Process Units，NPU)，多核NPU中的内核可以通过加载模型中各层对应的参数，对输入数据进行处理，得到输出数据。图1示出了一种循环神经网络模型的部分结构示意图，如图1所示，该循环神经网络模型可以包括输入层110、隐藏层120、输出层130等。
[0003]然而，在现有数据处理方案中，由于模型的层与层之间的耦合性强、并行度低，多核NPU中一般利用一个内核加载模型中所有层对应的参数，实现对输入数据的处理，如此造成多核NPU的算力资源的浪费。

技术实现思路

[0004]为解决多核嵌入式神经网络模型处理器的算力资源的浪费的问题，本申请实施例提供一种数据处理方法、电子设备及存储介质。
[0005]本申请实施例第一方面提供一种数据处理方法，电子设备包括第一处理器，第一处理器包括多个内核；并且方法包括：获取到第一模型的第一输入数据；基于第一模型的切分信息，将第一模型中的多个处理层切分为与切分信息匹配的多个处理层集合，其中，同一处理层集合中的处理层满足有效切分条件，有效切分条件与第一模型的运行性能相关；采用各处理层集合对应的内核，对各处理层集合所需处理的第一输入数据的各部分数据进行处理。
[0006]基于上述方案，通过同时采用多核NPU中的多个内核进行数据处理，可以在保证模型切分前后输入输出数据相同的情况下，减少多核NPU的算力资源的浪费。
[0007]可以理解，第一处理器可以为多核嵌入式神经网络模型处理器。第一模型为神经网络模型。第一输入数据可以包括图像数据、文本数据、音频数据，对各子数据进行处理可以包括对图像数据进行图像特征提取、对文本数据进行文本特征提出处理、对音频数据进行音频特征提取处理，得到如像素、字符、音频信号等。
[0008]可以理解，切分信息可以将模型中部分连接的处理层划分为一个处理层集合，并将该处理层集合中所有处理层对应的参数划分为一个参数集合，得到多个参数集合。其中，多个参数集合为多个可以并行处理数据的参数集合。
[0009]在上述第一方面的一种可能实现中，切分信息通过以下方式获取：从第一模型中的多个处理层中确定第一处理层和第二处理层，第一处理层和第二处理层连接；判断第一处理层和第二处理层是否满足有效切分条件；对应于第一处理层和第二处理层满足有效切分条件，将第一处理层和第二处理层划分为第一处理层集合；对应于第一处理层和第二处理层不满足有效切分条件，将第一处理层划分为第一处理层集合，且将第二处理层划分为
第二处理层集合。
[0010]例如，对于模型中层标识为9的处理层，可以将层标识为9的处理层和层标识为8的处理层放入临时处理层集合，即下文中所描述的临时子图。并采用处理器加载临时处理层集合中所有处理层对应的参数，对处理层集合的输入数据(即层标识为7的处理层的输出数据)进行处理，获取对输入数据进行处理时的性能指标以及对部分数据进行重复处理的冗余率，当对输入数据进行处理时的性能指标高于性能指标阈值，且对数据进行重复处理的冗余率低于冗余率阈值(如冗余率为0.2，低于冗余率阈值0.6)，可以将层标识为9的处理层和层标识为8的处理层划分为同一处理层集合。
[0011]在上述第一方面的一种可能实现中，方法还包括：从第一模型中的多个处理层中确定第三处理层，第三处理层与第一处理层连接；判断第一处理层、第二处理层和第三处理层是否满足有效切分条件；对应于第一处理层、第二处理层和第三处理层满足有效切分条件，将第一处理层、第二处理层和第三处理层划分为第一处理层集合。
[0012]在上述第一方面的一种可能实现中，有效切分条件包括以下至少一项：在第一处理器加载同一处理层集合中所有处理层对应的参数，对第一输入数据中同一处理层集合所需处理的部分数据进行处理时，性能指标高于性能指标阈值，在第一处理器加载同一处理层集合中所有处理层对应的参数，对第一输入数据中同一处理层集合所需处理的部分数据进行处理时，对部分数据重复处理的冗余率低于冗余率阈值。
[0013]例如，可以设置最大冗余率即冗余率阈值为0.6，在对部分数据重复处理的冗余率低于0.6时，可以判定第一处理层和第二处理层满足有效切分条件。在对部分数据重复处理的冗余率高于0.6时，可以判定第一处理层和第二处理层不满足有效切分条件。
[0014]在上述第一方面的一种可能实现中，处理层集合对应的内核包括第一内核和第二内核，采用各处理层集合对应的内核，对各处理层集合所需处理的第一输入数据的各部分数据进行处理，包括：采用第一内核，对第一处理层集合所需处理的第一输入数据中的第一子数据进行处理，并且采用第二内核，对第一处理层集合所需处理的第一输入数据中的第二子数据进行处理。
[0015]例如，第一处理器包括第一内核和第二内核。模型可以包括10个处理层(如图3中的层标识为0
‑
9的层)，可以在存储器中设置将层标识为0、1、2、5、6、7的处理层划分为第一处理层集合，将层标识为3、4的处理层划分为第二处理层集合，将层标识为8、9的处理层划分为第三处理层集合。
[0016]在对数据进行处理时，可以采用多核NPU中的第一内核加载第一处理层集合对应的第一参数集合，对第一处理层集合集合的输入数据(即模型的输入数据中的全部或者部分数据)进行处理，同时采用多核NPU中的第二内核加载第二处理层集合对应的第二参数集合，对第二处理层集合的输入数据(即模型的输入数据中的全部或者部分数据)进行处理，在第一内核加载完第一处理层集合对应的第一参数集合，对第一处理层集合的输入数据进行处理后，可以加载第三处理层集合对应的第三参数集合，对第三处理层集合的输入数据(即第一处理层集合的输出数据和第二处理层集合的输出数据)进行处理。也可以采用多核NPU中的第二内核加载第三处理层集合对应的第三参数集合，或者，采用多核NPU中除第一内核和第二内核以外的其他内核加载第三处理层集合对应的第三参数集合，对第三处理层集合的输入数据(即第一处理层集合的输出数据和第二处理层集合的输出数据)进行处理。
[0017]在上述第一方面的一种可能实现中，采用所述第一内核，对所述第一处理层集合所需处理的所述第一输入数据中的第一子数据进行处理，包括：采用所述第一内核加载所述第一处理层集合中所有层对应的第一参数集合，对所述第一输入数据中的第一子数据进行处理，并且所述采用所述第二内核，对所述第一处理层集合所需处理的所述第一输入数据中的第二子数据进行处理，包括：采用所述第二内核加载所述第二处理层集合中所有层对应的第二参数集合，对所述第一输入数据中的第二子数据进行处理。
[0018]在上述第一方面的一种可能实现中，方法还包括：将所述第一子数据存储至所述第一内核的第一内部存储空间，并且将所述第二子数据存储至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，用于电子设备，其特征在于，所述电子设备包括第一处理器，所述第一处理器包括多个内核；并且所述方法包括：获取到第一模型的第一输入数据；基于所述第一模型的切分信息，将所述第一模型中的多个处理层切分为与所述切分信息匹配的多个处理层集合，其中，同一处理层集合中的处理层满足有效切分条件，所述有效切分条件与所述第一模型的运行性能相关；采用各处理层集合对应的内核，对所述各处理层集合所需处理的所述第一输入数据的各部分数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述切分信息通过以下方式获取：从所述第一模型中的多个处理层中确定第一处理层和第二处理层，所述第一处理层和所述第二处理层连接；判断所述第一处理层和所述第二处理层是否满足所述有效切分条件；对应于所述第一处理层和所述第二处理层满足所述有效切分条件，将所述第一处理层和所述第二处理层划分为第一处理层集合；对应于所述第一处理层和所述第二处理层不满足所述有效切分条件，将所述第一处理层划分为第一处理层集合，且将所述第二处理层划分为第二处理层集合。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：从所述第一模型中的多个处理层中确定第三处理层，所述第三处理层与所述第一处理层连接；判断所述第一处理层、所述第二处理层和所述第三处理层是否满足所述有效切分条件；对应于所述第一处理层、所述第二处理层和所述第三处理层满足所述有效切分条件，将所述第一处理层、所述第二处理层和所述第三处理层划分为第一处理层集合。4.根据权利要求1所述的方法，其特征在于，所述有效切分条件包括以下至少一项：在所述第一处理器加载所述同一处理层集合中所有处理层对应的参数，对所述第一输入数据中所述同一处理层集合所需处理的部分数据进行处理时，性能指标高于性能指标阈值，在所述第一处理器加载所述同一处理层集合中所有处理层对应的参数，对所述第一输入数据中所述同一处理层集合所需处理的部分数据进行处理时，对部分数据重复处理的...

【专利技术属性】
技术研发人员：高峰，陈柏韬，刘超，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：