量化定点模型的训练方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种量化定点模型的训练方法、装置及电子设备，其中方法包括：获取标准浮点训练数据和标准定点训练数据；根据深度学习浮点模型、初始深度学习定点模型、标准浮点训练数据、标准定点训练数据、预设构造函数、预设相似度计算函数确定与深度学习浮点模型对应的量化定点模型。这样，可以通过预设构造函数、预设相似度计算函数获取与深度学习浮点模型匹配的深度学习定点模型，能快速实现深度学习浮点模型量化为深度学习定点模型，提高量化的精度。量化的精度。量化的精度。

【技术实现步骤摘要】
量化定点模型的训练方法、装置及电子设备


[0001]本申请涉及神经网络
，尤其涉及一种量化定点模型的训练方法、装置及电子设备。

技术介绍

[0002]现有的深度学习模型的量化处理过程一般分为两个大类，第一类为训练量化处理过程，是指在深度学习模型训练时加入量化操作，在训练完成后就可以得到量化好的深度学习模型训练；第二类为后量化处理过程，指训练深度学习模型时不加入量化操作，在训练深度学习模型完成后，通过附加的量化方案来得到量化好的深度学习模型。
[0003]现有技术中后量化处理过程的流程为：(1)向深度学习模型输入训练数据或测试数据；(2)使用深度学习浮点模型进行推理；(3)统计深度学习浮点模型的输出信息；(4)对统计的输出信息进行截断映射；(5)修改深度学习浮点模型的参数映射为定点；(5)输出深度学习定点模型。在上述过程中，步骤(1)中要求用户提供训练或者测试的数据集，一般来说，训练或者测试的数据集为上千张图片，以确保在步骤(3)中可以获得与训练相同的输出信息。现有技术中后量化处理过程存在量化精度比较低的问题。<br/>
技术实现思路
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量化定点模型的训练方法，其特征在于，所述方法包括：获取标准浮点训练数据和标准定点训练数据；通过深度学习浮点模型对所述标准浮点训练数据进行训练，得到所述深度学习浮点模型各隐藏层的第一浮点输出数据，获取各隐藏层的第一浮点输出数据对应的第一波动表征数据；通过初始深度学习定点模型对所述标准定点训练数据进行训练，得到所述初始深度学习定点模型各隐藏层的第一定点输出数据，获取各隐藏层的第一定点输出数据对应的第二波动表征数据；根据各所述第一波动表征数据、各所述第二波动表征数据，确定预设构造函数的第一结果；根据所述深度学习浮点模型的各隐藏层的第一浮点输出数据、所述初始深度学习定点模型的各隐藏层的第一定点输出数据，确定预设相似度计算函数的第二结果；根据所述第一结果和所述第二结果对所述初始深度学习定点模型的权重参数进行调整，得到修正深度学习定点模型；根据所述修正深度学习定点模型、所述第一波动表征数据、所述标准浮点训练数据和所述标准定点训练数据确定所述预设构造函数的第三结果和所述预设相似度计算函数的第四结果；若所述第一结果与所述第三结果的第一变化趋势为降低趋势，且所述第二结果与所述第四结果的第二变化趋势为降低趋势，则将所述修正深度学习定点模型确定为所述深度学习浮点模型对应的量化定点模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述修正深度学习定点模型、所述第一波动表征数据、所述标准浮点训练数据和所述标准定点训练数据确定所述预设构造函数的第三结果和所述预设相似度计算函数的第四结果，包括：通过所述修正深度学习定点模型对所述标准定点训练数据进行训练，得到所述修正深度学习定点模型各隐藏层的第二定点输出数据，获取各隐藏层的第二定点输出数据对应的第三波动表征数据；根据各所述第一波动表征数据、各所述第三波动表征数据，确定预设构造函数的第三结果；根据所述深度学习浮点模型的各隐藏层的第一浮点输出数据、所述修正深度学习定点模型的各隐藏层的第二定点输出数据，确定预设相似度计算函数的第四结果。3.根据权利要求1所述的方法，其特征在于，所述获取标准浮点训练数据和标准定点训练数据，包括：通过高斯函数随机产生初始浮点训练数据，将所述初始浮点训练数据转换为初始定点训练数据；通过深度学习浮点模型对所述初始浮点训练数据进行训练，得到所述深度学习浮点模型各隐藏层的第二浮点输出数据，获取各隐藏层的第二浮点输出数据对应的第四波动表征数据；通过初始深度学习定点模型对所述初始定点训练数据进行训练，得到所述初始深度学习定点模型各隐藏层的第三定点输出数据，获取各隐藏层的第三定点输出数据对应的第五波动表征数据；
根据各所述第四波动表征数据、各所述第五波动表征数据，确定预设构造函数的第五结果；根据所述深度学习浮点模型的各隐藏层对应的第二浮点输出数据、所述初始深度学习定点模型的各隐藏层的第三定点输出数据，确定预设相似度计算函数的第六结果；通过所述高斯函数随机产生修正浮点训练数据，将所述修正浮点训练数据转换为修正定点训练数据；所述修正浮点训练数据的方差和标准差分别属于所述第四波动表征数据对应的方差范围和标准差范围；通过深度学习浮点模型对所述修正浮点训练数据进行训练，得到所述深度学习浮点模型各隐藏层的第三浮点输出数据，获取各隐藏层的第三浮点输出数据对应的第六波动表征数据；通过初始深度学习定点模型对所述修正定点训练数据进行训练，得到所述初始深度学习定点模型各隐藏层的第四定点输出数据，获取各隐藏层的第四定点输出数据对应的第七波动表征数据；根据各所述第六波动表征数据、各所述第七波动表征数据，确定预设构造函数的第七结果；根据所述深度学习浮点模型的各隐藏层的第三浮点输出数据、所述初始深度学习定点模型的各隐藏层的第四定点输出数据，确定预设相似度计算函数的第八结果；若所述第五结果与所述第七结果的第三变化趋势、所述第六结果与所述第八结果的第四变化趋势为降低趋势，则将所述修正浮点训练数据和所述修正定点训练数据分别确定为标准浮点训练数据和标准定点训练数据。4.根据权利要求1所述的方法，其特征在于，所述第一波动表征数据包括第一均值及第一方差，所述第二波动表征数据包括第二均值及第二方差，所述根据各所述第一波动表征数据、各所述第二波动表征数据，确定预设构造函数的第一结果，包括：分别计算各所述第一均值与各所述第二均值的第一二范数、各所述第一均值与各所述第二均值的第二二范数；根据各所述第一二范数及各所述第二二范数确定所述第一结果。5.根据权利要求1所述的方法，其特征在于，所述根据所述深度学习浮点模型的各隐藏层的第一浮点输出数据、所述初始深度学习定点模型的各隐藏层的第一定点输出数据，确定预设相似度计算函数的第二结果，包括：计算所述深度学习浮点模型的各隐藏层的第一浮点输出数据、所述初始深度学习定点模型的各隐藏层的第一定点输出数据之...

【专利技术属性】
技术研发人员：胡建兵，袁涛，
申请(专利权)人：湖南国科微电子股份有限公司，
类型：发明
国别省市：