神经网络模型的运行方法、可读介质和电子设备技术

本申请涉及人工智能领域，公开了一种神经网络模型的运行方法、可读介质和电子设备。该方法应用于电子设备，包括：检测到第一神经网络模型，第一神经网络模型为对称量化的神经网络模型，并且第一神经网络模型中包括第一神经网络模型的各算子的对称量化参数；将各算子的对称量化参数转换为非对称量化参数；利用各算子的非对称量化参数，调用预设的非对称量化的算子的运算逻辑，得到第一神经网络模型的推理结果。如此，只能运行非对称量化的神经网络模型的电子设备，可以调用预设的非对称量化的算子的运算逻辑来实现对称量化的神经网络模型的功能，增加了电子设备能够运行的神经网络模型的类型。型的类型。型的类型。

【技术实现步骤摘要】
神经网络模型的运行方法、可读介质和电子设备


[0001]本申请涉及人工智能领域，特别涉及一种神经网络模型的运行方法、可读介质和电子设备。

技术介绍

[0002]随着人工智能(artificial intelligence，AI)的迅速发展，神经网络模型在人工智能领域的应用越来越广泛。由于运行神经网络模型的运算单元，例如神经网络处理器(Neural
‑
Network Processing Unit，NPU)，通常为定点运算单元，为提高神经网络模型的运行速度，通常将神经网络模型的各算子进行量化，得到定点运算的神经网络模型，再由电子设备来运行。对神经网络模型的各算子的量化包括非对称量化或对称量化，但是，为了节省开发、制造成本，部分NPU中只预设有针对非对称量化的算子的运算逻辑，该类NPU只能运行非对称量化的神经网络模型，而无法运行对称量化的神经网络模型。

技术实现思路

[0003]有鉴于此，本申请实施例提供了神经网络模型的运行方法、可读介质和电子设备。电子设备通过将对称量化的神经网络模型的对称量化参数转换为非对称量化参数，即可根据得到的非对称量化参数调用预设的非对称量化的算子的运算逻辑来实现对称量化的神经网络模型的功能，增加了电子设备能够运行的神经网络模型的类型，提高了电子设备的NPU的通用性。
[0004]第一方面，本申请实施例提供了一种神经网络模型的运行方法，应用于电子设备，该方法包括：检测到第一神经网络模型，第一神经网络模型为对称量化的神经网络模型，并且第一神经网络模型中包括第一神经网络模型的各算子的对称量化参数；将各算子的对称量化参数转换为非对称量化参数；利用各算子的非对称量化参数，调用预设的非对称量化的算子的运算逻辑，得到第一神经网络模型的推理结果。
[0005]通过本申请实施例提供的方法，若电子设备中用于运行第一神经网络模型的处理器(例如NPU)只能调用非对称量化的算子的运算逻辑来实现神经网络模型的推理，则可以通过将第一神经网络模型各算子的对称量化参数转换为非对称量化参数，并通过得到的非对称量化参数来调用非对称量化的算子的运算逻辑，来对第一神经网络模型进行推理，得到第一神经网络模型的推理结果。如此，增加了电子设备能够运行的神经网络模型的类型，提高了电子设备的NPU的通用性。此外，由于过程中无需先将对称量化的神经网络模型转换为浮点型的神经网络模型，再转换为非对称量化的神经网络模型，提高了神经网络模型的部署速度。
[0006]在上述第一方面的一种可能实现中，上述电子设备包括第一处理器，第一处理器能够对非对称量化的神经网络模型进行推理，不能对对称量化的神经网络模型进行推理；并且由第一处理器运行第一神经网络模型。
[0007]也即是说，电子设备的第一处理器只能够调用非对称量化的算子的运算逻辑来对
神经网络模型进行推理，通过本申请实施例提供的方法，第一处理器可以通过将第一神经网络模型的对称量化参数转换为非对称量化参数，并基于得到的非对称量化参数调用非对称量化的算子的运算逻辑来实现第一神经网络模型的功能，增加了第一处理器能够运行的神经网络模型的类型，提高了第一处理器的通用性。
[0008]在上述第一方面的一种可能实现中，上述对称量化参数包括以下参数中的至少一种：输入数据的对称量化缩放系数、输出数据的对称量化缩放系数、常量数据的对称量化参数，其中常量数据的对称量化参数包括对称量化常量数据、对称量化常量数据的对称量化缩放系数。
[0009]在上述第一方面的一种可能实现中，上述将各算子的对称量化参数转换为非对称量化参数，包括：根据输入数据或输出数据的数据类型、输入数据或输出数据的对称量化缩放系数，确定输入数据或输出数据对应的浮点数的最大值和最小值；根据输入数据或输出数据对应的浮点数的最大值和最小值，确定输入数据或输出数据的非对称量化缩放系数、非对称量化零点。
[0010]例如，在一个算子的输入数据或输出数据的数据类型为INT8时，若输入数据或输出数据的对称量化缩放系数为1，则确定输入数据或输出数据的浮点数的最大值为浮点数127，最小值为浮点数
‑
128，进而根据下文中的公式(4)和公式(5)得到输入数据或输出数据的非对称量化缩放系数为1、非对称量化零点为128。
[0011]在上述第一方面的一种可能实现中，上述根据输入数据或输出数据的数据类型、输入数据或输出数据的对称量化缩放系数，确定输入数据或输出数据对应的浮点数的最大值和最小值，包括：根据各算子的输入数据或输出数据的数据类型，确定输入数据或输出数据的定点数的最大值和最小值；根据输入数据或输出数据的对称量化缩放系数以及输入数据或输出数据的定点数的最大值和最小值，确定输入数据或输出数据对应的浮点数的最大值和最小值。
[0012]例如，在输入数据或输出数据的数据类型为INT8的情况下，则输入数据或输出数据的定点数的最大值为127，最小值为
‑
128，从而可以根据下文中的公式(11)确定输入数据或输出数据的浮点数的最大值为浮点数127，最小值为浮点数
‑
128。
[0013]在上述第一方面的一种可能实现中，上述对称量化常量数据包括对称量化常数、对称量化矩阵；并且，将各算子的对称量化参数转换为非对称量化参数，包括：根据对称量化常量数据的数据类型和对称量化常量数据的对称量化缩放系数，确定对称量化常量数据对应的浮点数的最大值和最小值；根据对称量化常量数据对应的浮点数的最大值和最小值，确定对称量化常量数据对应的浮点数的非对称量化缩放系数和非对称量化零点；根据确定出的对称量化常量数据对应的浮点数的非对称量化缩放系数和非对称量化零点，将对称量化常量数据对应的浮点数常量数据转换为非对称量化常量数据，其中，对称量化常量数据对应的浮点数常量数据，由常量数据的对称量化参数确定。
[0014]例如，某一算子的常量数据包括对称量化的常数100，该对称量化常量数据的对称量化缩放系数为2，则根据公式(11)可以得到该常数对应的浮点数常数为50；基于该常量数据的数据类型，例如INT8，可以得到常量数据对应的浮点数的最大值为63.5，最小值为
‑
64，进而根据下文中的公式(4)和公式(5)可以得到该常量数据的非对称量化缩放系数为2，非对称量化零点为128。
[0015]在上述第一方面的一种可能实现中，上述根据对称量化常量数据的数据类型和对称量化常量数据的对称量化缩放系数，确定对称量化常量数据对应的浮点数的最大值和最小值，包括：根据对称量化常量数据的数据类型，确定对称量化常量数据的定点数的最大值和最小值；根据对称量化常量数据的对称量化缩放系数、确定出的对称量化常量数据的定点数的最大值和最小值，确定对称量化常量数据对应的浮点数的最大值和最小值。
[0016]例如，在对称量化常量的数据类型为INT8、对称量化常量数据的对称量化缩放系数为2的情况下，则非对称量化常量数据的定点数的最大值为127，最小值为
‑
128，从而可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的运行方法，应用于电子设备，其特征在于，包括：检测到第一神经网络模型，所述第一神经网络模型为对称量化的神经网络模型，并且所述第一神经网络模型中包括所述第一神经网络模型的各算子的对称量化参数；将各所述算子的对称量化参数转换为非对称量化参数；利用各所述算子的非对称量化参数，调用预设的非对称量化的算子的运算逻辑，得到所述第一神经网络模型的推理结果。2.根据权利要求1所述的方法其特征在于，所述电子设备包括第一处理器，所述第一处理器能够对非对称量化的神经网络模型进行推理，不能对对称量化的神经网络模型进行推理；并且由所述第一处理器运行所述第一神经网络模型。3.根据权利要求1或2所述的方法，其特征在于，所述对称量化参数包括以下参数中的至少一种：输入数据的对称量化缩放系数、输出数据的对称量化缩放系数、常量数据的对称量化参数，其中所述常量数据的对称量化参数包括对称量化常量数据、对称量化常量数据的对称量化缩放系数。4.根据权利要求3所述的方法，其特征在于，所述将各所述算子的对称量化参数转换为非对称量化参数，包括：根据所述输入数据或所述输出数据的数据类型、所述输入数据或所述输出数据的对称量化缩放系数，确定所述输入数据或所述输出数据对应的浮点数的最大值和最小值；根据所述输入数据或所述输出数据对应的浮点数的最大值和最小值，确定所述输入数据或所述输出数据的非对称量化缩放系数、非对称量化零点。5.根据权利要求4所述的方法，其特征在于，根据所述输入数据或所述输出数据的数据类型、所述输入数据或所述输出数据的对称量化缩放系数，确定所述输入数据或所述输出数据对应的浮点数的最大值和最小值，包括：根据各算子的所述输入数据或所述输出数据的数据类型，确定所述输入数据或所述输出数据的定点数的最大值和最小值；根据所述输入数据或所述输出数据的对称量化缩放系数以及所述输入数据或所述输出数据的定点数的最大值和最小值，确定所述输入数据或所述输出数据对应的浮点数的最大值和最小值。6.根据权利要求3所述的方法，其特征在于，所述对称量化常量数据包括对称量化常数、对称量化矩阵；并且，所述将各所述算子的对称量化参数转换为非对称量化参数，包括：根据所述对称量化常量数据的数据类型和所述对称量化常量数据的对称量化缩放系数，确定所述对称量化常量数据对应的浮点数的最大值和最小值；根据所述对称量化常量数据对应的浮点数的最大值和最小值，确定所述对称量化常量数据对应的浮点数的非对称量化缩放系数和非对称量化零点；根据确定出的所述对称量化常量数据对应的浮点数的非对称量化缩放系数和非对称量化零点，将所述对称量化常量数据对应的浮点数常量数据转换为非对称量化常量数据，其中，所述对称量化常量数据对应的浮点数常量数据，由所述常量数据的对称量化参数确定。7.根据权...

【专利技术属性】
技术研发人员：韩冥生，余宗桥，鲁若荻，
申请(专利权)人：安谋科技中国有限公司，
类型：发明
国别省市：