用于对神经网络进行后训练量化的方法和装置制造方法及图纸

提供了一种用于对神经网络进行动态点量化以实现更高精度和更低存储要求的方法和装置(100)。传统的神经网络模型需要海量磁盘空间，这增加了与这些模型关联的计算成本，从而要求用户设备提供大量的性能和功率。本发明专利技术聚焦于量化深度学习模型，从而与传统模型相比，降低存储要求，而不损害精度，同时还实现更高的性能。所述神经网络通过如下方式来量化：确定输入是正数还是负数(901)；确定所述输入的指数范围(902)；确定所述输入的层参数的最大范围(903)；确定所述输入的层的偏移量(904)；通过将所述输入转换为其对应的二进制形式来执行指数调整(905)，并通过将所述偏移量与指数调整值相加来确定所述输入的指数表示(906)。(906)。(906)。

【技术实现步骤摘要】
【国外来华专利技术】用于对神经网络进行后训练量化的方法和装置


[0001]本申请要求于2019年10月30日提交给印度专利局、专利技术名称为“用于对神经网络进行后训练量化的方法和装置(METHOD AND APPARATUS FOR QUANTIZATION OF NEURAL NETWORKS POST TRAINING)”的第IN201931043851号印度专利申请的优先权，该申请通过全文引用并入本文。
[0002]本文描述的主题大体上涉及深度学习模型，更具体涉及用于量化神经网络(例如存储的神经网络模型的权重和参数)的方法和装置。

技术介绍

[0003]机器学习是人工智能(artificial intelligence，AI)的一种应用，它利用统计技术为计算机系统提供在不显示编程的情况下，利用数据进行“学习”的能力，例如，逐步提高针对特定任务的性能。机器学习模型接收输入并根据接收到的输入生成输出，例如预测输出。有些机器学习模型是参数模型，根据接收到的输入和模型的参数值生成输出。
[0004]机器学习领域的最先进技术包括深度神经网络，这些深度神本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于量化神经网络的方法，其特征在于，所述方法包括以下步骤：装置(100)确定(S901)输入是正数还是负数，其中，所述输入是包括带符号位、至少一个指数位和至少一个尾数位的浮点数；所述装置(100)确定(S902)所述输入的指数范围；所述装置(100)确定(S903)所述输入的用于以量化形式表示所述输入的层参数的最大范围；所述装置(100)确定(S904)所述输入的层的偏移量；所述装置(100)通过将所述输入转换为对应的二进制形式，执行(S905)指数调整；所述装置(100)通过将所述偏移量与指数调整值相加，确定(S906)所述输入的指数表示。2.根据权利要求1所述的方法，其特征在于，如果所述输入是正数，则所述带符号位为0；如果所述输入是负数，则所述带符号位为1。3.根据权利要求1或2所述的方法，其特征在于，指数范围由以下等式确定：指数范围＝2
n
‑1‑
1其中，n是位宽。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述最大范围由以下等式确定：范围＝数值≤2
Level
其中，level是表示所述层参数的整个范围所需的位数。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述偏移量是通过所述指数范围减去表示所述最大范围所需的所述Level并加上所述尾数位的一半确定的。6.根据权利要求1至5中任一项所述的方法，其特征在于，将所述输入转换为对应的二进制形式包括确定所述输入的位长是否为10位的步骤；其中，如果所述二进制形式的输入的位的位长大于10位，则丢弃低二进制位置的位，并且通过加上丢弃的位数来调整指数部分的值；如果所述二进制形式的输入的所述位的位长小于10位，则将零附加到所述输入的所述二进制形式的末尾，并且通过减去添加的零的数量来调整所述输入的所述指数。7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括对任何两个量化输入进行乘法运算的步骤。8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括对任何两个量化输入进行加法运算的步骤。9.一种用于量化神经网络的装置(100)，其特征在于，所述装置包括：符号确定模块(101)，用于确定输入是正数还是负数，其中，所...

【专利技术属性】
技术研发人员：阿米特，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：