神经网络模型的运行方法、可读介质和电子设备技术

本申请涉及人工智能领域，具体涉及一种神经网络模型的运行方法、可读介质和电子设备。本申请的方法，在电子设备检测到部署其上的神经网络模型的类型，与预设运算逻辑对应的类型不同时，将适用于神经网络模型的第一类型数据，转换为预设运算逻辑可处理的数据类型，便于电子设备使用预设运算逻辑对神经网络模型的数据进行处理，并且在转换过程，通过调整预设运算逻辑的缩放系数，消除转换过程中存在的数据误差，保证转换后数据运算的精确度。保证转换后数据运算的精确度。保证转换后数据运算的精确度。

【技术实现步骤摘要】
神经网络模型的运行方法、可读介质和电子设备


[0001]本申请涉及人工智能领域，具体涉及一种神经网络模型的运行方法、可读介质和电子设备。

技术介绍

[0002]随着人工智能(artificial intelligence，AI)的迅速发展，神经网络模型在人工智能领域的应用越来越广泛。由于定点型的神经网络模型体积较小、数据运算较快，因此在电子设备上部署AI模型时，通常会将神经网络模型的各算子进行定点量化，得到定点型神经网络模型，再由电子设备的中央处理器(central processing unit，CPU)或神经网络模型处理器(neural
‑
network processing unit，NPU)来运行该定点型神经网络模型。对神经网络模型的各算子的量化包括对称量化和非对称量化，对应的CPU或NPU也需针对对应的量化模型，预设对称量化的算子的运算逻辑或非对称量化的算子的运算逻辑。
[0003]但是这样做一方面增加了研发成本，另一方面会出现对称量化的神经网络模型运行在预设有非对称量化的算子的运算逻辑的电子设备，或非对称量化的神经网络模型运行在预设有对称量化的算子的运算逻辑的电子设备上，导致运算结果出现误差。
[0004]因此亟需一种神经网络模型运行方法来解决上述问题。

技术实现思路

[0005]有鉴于此，本申请实施例提供了神经网络模型的运行方法、可读介质和电子设备。本申请的神经网络模型运行方法一方面可以降低研发成本，另一方面，在待运行的神经网络模型与电子设备预设的运算逻辑不符时，也可以使神经网络模型成功的运行在电子设备上，提高了神经网络模型可适用的电子设备的范围，同时还保证运算结果的精确度。
[0006]下面对本申请的神经网络模型的运行方法展开介绍。
[0007]第一方面，本申请实施例提供了一种神经网络模型的运行方法，该方法应用于电子设备，该方法包括：检测到待运行神经网络模型，确定待运行神经网络模型的类型属于第一类型神经网络模型；确定第一类型神经网络模型与电子设备预设运算逻辑对应的预设的第二类型不同，利用第一神经网络模型的第一参数将第一类型神经网络模型对应的第一类型数据转换为第二类型数据，第二类型数据与电子设备预设运算逻辑对应的预设的第二类型对应，以及利用电子设备预设运算逻辑，对第二类型数据进行运算处理，实现第一神经网络模型的功能。
[0008]其中，第一类型神经网络模型可以为对称量化神经网络模型，也可为非对称量化神经网络模型。同样的，预设运算逻辑可以是对称量化逻辑，也可以是非对称量化逻辑。
[0009]在电子设备检测到部署其上的神经网络模型的类型，与预设运算逻辑对应的类型不同时，将适用于神经网络模型的第一类型数据，转换为预设运算逻辑可处理的数据类型(也即上述第二类型数据)，便于电子设备使用预设运算逻辑对神经网络模型的数据进行处理，提高了可适用神经网络模型的电子设备的范围，降低了研发成本。
[0010]结合第一方面，在第一方面的一种可能的实现方式中，检测到待运行神经网络模型，确定待运行神经网络模型的类型属于第一类型神经网络模型，包括：确定待运行神经网络模型中的数据的数据类型，若待运行神经网络模型中的数据的数据类型为预设数据类型，确定待运行神经网络模型属于第一类型神经网络模型。
[0011]也即可通过确定待运行神经网络模型中的数据类型是否与预设数据类型匹配，确定待运行神经网络的类型是否与电子设备预设运算逻辑对应的预设第二类型是否匹配。其中，待运行神经网络模型中的数据类型可以指待运行神经网络模型的数据种类，也可指待运行神经网络模型中数据的数值类型。其中，待运行神经网络模型的数据种类包括但不限于零点、缩放系数。待运行神经网络模型的数据的数值类型包括但不限于INT型数据，UINT型数据。
[0012]其中，预设数据类型与第一类型神经网络模型相关，如果第一类型神经网络模型为非对称量化神经网络模型，那么预设数据类型为UINT型数据类型和/或预设数据类型中包括零点，如果此时待运行神经网络模型的数据类型也为UINT型数据和/或包括零点，则表明待运行神经网络模型属于第一类型神经网络模型。
[0013]如果第一类型神经网络模型为对称量化神经网络模型，那么预设数据类型为INT型数据类型，如果此时待运行神经网络模型的数据类型也为INT型数据，则表明待运行神经网络模型属于第一类型神经网络模型。
[0014]结合第一方面及上述第一方面可能的实现方式，在第一方面的一种可能的实现方式中，利用待运行的神经网络模型的第一参数将第一类型神经网络模型对应的第一类型数据转换为第二类型数据，包括：根据待运行神经网络模型的第一参数以及预设运算逻辑的第二参数，确定第三参数，其中，第三参数包括第二参数以及第一参数，根据第三参数以及第一类型数据，得到第二类型数据。
[0015]可以理解，由于待运行神经网络模型的类型可能是对称量化神经网络模型，也可能是非对称量化神经网络，对应地，待运行神经网络模型的第一参数也会随待运行神经网络模型的类型不同而发生变化。在一些实现方式中，当待运行神经网络模型为非对称量化神经网络模型时，第一参数包括第一零点、第一缩放系数例如下文公式(3)中的ZP以及ascale。当待运行神经网络模型为对称量化神经网络模型时，第一参数包括第一缩放系数，例如下文公式(2)中的scale。同样地，对于预设运算逻辑而言，如果预设运算逻辑为对称量化逻辑，则第二参数包括第二缩放系数，如果预设运算逻辑为非对称量化逻辑，则第二参数包括第二缩放系数以及零点，此处不再赘述。
[0016]因此结合第一方面及上述第一方面可能的实现方式，在第一方面的一种可能的实现方式中，第一参数至少包括待运行神经网络模型的第一缩放系数，第二参数至少包括预设运算逻辑的第二缩放系数，根据待运行神经网络模型的第一参数以及预设运算逻辑的第二参数，确定第三参数包括：根据第一缩放系数，调整第二缩放系数，调整后的第二缩放系数与第一缩放系数互为倒数；根据第一缩放系数，调整后的第二缩放系数，确定第三参数。
[0017]也即，由于第一类型数据转为第二类型数据的过程中的误差，实则由第一缩放系数与第二缩放系数的乘积造成的(例如下文公式(15)所示)，故在一些实现方式中，可以通过将第一缩放系数以及第二缩放系数的乘积调整为1，以消除上述数据转换过程中的误差。
[0018]可以理解，由于待运行神经网络模型不同，因此将第一类型数据转换为第二类型
数据的过程也有所不同。具体如下：
[0019]结合第一方面及上述第一方面可能的实现方式，在第一方面的一种可能的实现方式中，根据第三参数以及第一类型数据，得到第二类型数据，包括：在待运行神经网络模型为非对称量化神经网络模型时，第一参数还包括待运行神经网络模型的零点，根据第一缩放系数、零点以及第一类型数据，确定第一类型数据对应的浮点型数据；根据浮点型数据以及调整后的第二缩放系数，确定第二类型数据。例如，假设待运行神经网络模型为非对称量化神经网络模型，则如下文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的运行方法，应用于电子设备，其特征在于，包括：检测到待运行神经网络模型，确定所述待运行神经网络模型的类型属于第一类型神经网络模型；确定所述第一类型神经网络模型与所述电子设备预设运算逻辑对应的预设的第二类型不同，利用所述第一神经网络模型的第一参数将所述第一类型神经网络模型对应的第一类型数据转换为第二类型数据，所述第二类型数据与所述电子设备预设运算逻辑对应的预设的第二类型对应，以及利用所述电子设备预设运算逻辑，对所述第二类型数据进行运算处理，实现所述第一神经网络模型的功能。2.根据权利要求1所述的方法，其特征在于，所述检测到待运行神经网络模型，确定所述待运行神经网络模型的类型属于第一类型神经网络模型，包括：确定所述待运行神经网络模型中的数据的数据类型，若所述待运行神经网络模型中的数据的数据类型为预设数据类型，确定所述待运行神经网络模型属于第一类型神经网络模型。3.根据权利要求1或2所述的方法，其特征在于，所述利用所述待运行的神经网络模型的第一参数将所述第一类型神经网络模型对应的第一类型数据转换为第二类型数据，包括：根据所述待运行神经网络模型的第一参数以及所述预设运算逻辑的第二参数，确定第三参数，其中，所述第三参数包括所述第二参数以及所述第一参数，根据所述第三参数以及所述第一类型数据，得到所述第二类型数据。4.根据权利要求3所述的方法，其特征在于，所述第一参数至少包括所述待运行神经网络模型的第一缩放系数，所述第二参数至少包括所述预设运算逻辑的第二缩放系数，所述根据所述待运行神经网络模型的第一参数以及所述预设运算逻辑的第二参数，确定所述第三参数包括：根据所述第一缩放系数，调整所述第二缩放系数，调整后的第二缩放系数与所述第一缩放系数互为倒数；根据所述第一缩放系数，所述调整后的第二缩放系数，确定所述第三参数。5...

【专利技术属性】
技术研发人员：高荣，郑烈，韩冥生，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：