神经网络模型的训练方法、存储介质及电子设备技术

本发明专利技术公开了一种神经网络模型的训练方法、存储介质及电子设备。其中，该方法包括：对神经网络模型训练过程时，对训练使用的数据进行量化操作，使用量化后的小比特数据进行神经网络模型的训练，为了保证神经网络模型的精度，在量化操作后的数据执行目标操作后，再对目标操作后输出的数据执行反量化操作，也就是说，在神经网络模型的量化训练过程中，在保证量化精度损失不大的情况下，可将神经网络模型容量下降至一定的数值，并且运行时的内存也会减少，减少数据搬运的同时可大大降低模型功耗，进而解决了现有技术中，在对神经网络模型进行训练的过程中需要的资源较多的技术问题。进行训练的过程中需要的资源较多的技术问题。进行训练的过程中需要的资源较多的技术问题。

【技术实现步骤摘要】
神经网络模型的训练方法、存储介质及电子设备


[0001]本专利技术涉及计算机
，具体而言，涉及一种神经网络模型的训练方法、存储介质及电子设备。

技术介绍

[0002]随着人工智能的发展，越来越多的神经网络模型被应用于各种场景，例如，识别图像中人脸关键点、识别图像中的人脸表情。在神经网络模型被应用之前，需要对该神经网络模型进行训练，才能满足使用的要求。在对神经网络模型进行训练的过程中，需要考虑训练的时长以及训练时所用的资源。
[0003]在相关技术中，在对神经网络模型进行训练的过程中，神经网络模型中的各个运算模块的输入数据往往占用较大的存储空间，例如，当输入数据的数据类型为浮点型(如float32)时，该输入数据占用了32比特的存储空间。进一步，由于输入数据占用了较大的存储空间，因此，各个运算模块对于该输入数据进行处理时，所需要消耗的资源会更多，例如，运算时长，或者，运行时占用的内存。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种神经网络模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的训练方法，其特征在于，包括：获取第一数据类型的第一输入数值，其中，所述第一输入数值被设置为待训练的神经网络模型中的目标操作的输入数值，所述第一数据类型的所述第一输入数值占的比特数为第一比特数；对所述第一输入数值执行量化操作，得到第二数据类型的第二输入数值，其中，所述第二数据类型的所述第二输入数值占的比特数为第二比特数，所述第二比特数小于所述第一比特数；对所述第二输入数值执行所述目标操作，得到所述第二数据类型的第一输出数值，所述第二数据类型的所述第一输出数值占的比特数为所述第二比特数；对所述第一输出数值执行反量化操作，得到所述第一数据类型的第二输出数值，所述第一数据类型的所述第二输出数值占的比特数为所述第一比特数；根据所述第二输出数值，对所述神经网络模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述对所述第一输入数值执行量化操作，得到第二数据类型的第二输入数值，包括：根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数；使用所述目标量化参数对所述第一输入数值执行量化操作，得到所述第二数据类型的所述第二输入数值。3.根据权利要求2所述的方法，其特征在于，根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数，包括：在所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值相同的情况下，根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的第一量化参数，其中，所述目标量化参数包括所述第一量化参数；在所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值不同的情况下，根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的第二量化参数，其中，所述目标量化参数包括所述第二量化参数，所述第一量化参数与所述第二量化参数不同。4.根据权利要求3所述的方法，其特征在于，所述方法还包括以下至少之一：在所述目标操作包括所述神经网络模型中的卷积层上执行的卷积函数的情况下，将所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值设置为相同；在所述目标操作包括所述神经网络模型中的全连接层上执行的权重函数的情况下，将所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值设置为相同；在所述目标操作包括所述神经网络模型中的激活函数的情况下，将所述第二数据类型对应的最大取值的绝对值与最小取值的绝对值设置为不同。5.根据权利要求2所述的方法，其特征在于，所述根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数，包括：
通过如下公式确定所述目标量化参数：zero_point＝0其中，所述目标量化参数包括所述scale和所述zero_point，所述min_val表示所述第一输入数值的最小取值，所述max_val表示所述第一输入数值的最大取值，所述qmax表示所述第二数据类型对应的最大取值，qmin表示所述第二数据类型对应的最小取值。6.根据权利要求2所述的方法，其特征在于，所述根据所述第二数据类型对应的最大取值和最小取值、以及所述第一输入数值的最大取值和最小取值，确定所述量化操作所使用的目标量化参数，包括：通过如下公式确定所述目标量化参数：通过如下公式确定所述目标量化参数：其中，所述目标量化参数包括所述scale和所述zero_point，所述min_val表示所述第一输入数值的最小取值，所述max_val表示所述第一输入数值的最大取值，所述qmax表示所述第二数据类型对应的最大取值，所述qmin表示所述第二数据类型对应的最小取值，round函数用于对进行四舍五入计算。7.根据权利要求2所述的方法，其特征在于，所述使用所述目标量化参数对所述第一输入数值执行量化操作，得到所述第二数据类型的所述第二输入数值，包括：其中，所述目标量化参数包括所述scale和所述zero_point，所述X
Q
表示所述第二输入数值，所述X
F
表示所述第一输入数值，所述round函数用于对进行四舍五入...

【专利技术属性】
技术研发人员：康洋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：