量化参数模型的训练方法及装置、电子设备、存储介质制造方法及图纸

本申请实施例涉及人工智能技术领域，具体公开了一种量化参数模型的训练方法及装置、电子设备、存储介质，包括：通过待训练的量化参数模型生成第一位宽的第一样本数据对应的初始量化参数；计算第一样本数据除以初始量化参数的第一商，并对第一商执行取整操作得到第一取整结果；根据第一取整结果和第二位宽对应的取值范围确定出区间限定值；计算区间限定值和初始量化参数的第一乘积，并将第一乘积作为第二位宽的预测样本数据；若根据第二位宽的第二样本数据确定预测样本数据满足精度要求，则确定量化参数模型完成训练。实施本实施例，能够提高量化处理的精度，以提高卷积运算的计算速度和正确率。和正确率。和正确率。

【技术实现步骤摘要】
量化参数模型的训练方法及装置、电子设备、存储介质


[0001]本申请涉及人工智能
，具体涉及一种量化参数模型的训练方法及装置、电子设备、存储介质。

技术介绍

[0002]随着人工智能技术的快速发展，越来越多的人工智能模型被提出，并广泛应用在各种人工智能产品的开发中。
[0003]在实践中发现，人工智能模型通常需要使用到卷积运算，且相关技术中为了提高卷积运算的速度，通常会对卷积运算中的参数进行量化处理，以减少卷积运算的计算量，但是相关技术的量化精度较低，从而不利于提高卷积运算的正确率。

技术实现思路

[0004]本申请实施例公开了一种量化参数模型的训练方法及装置、电子设备、存储介质，能够提高量化处理的精度，以提高卷积运算的计算速度和正确率。
[0005]本申请实施例第一方面公开一种量化参数模型的训练方法，所述方法包括：
[0006]通过待训练的量化参数模型生成第一位宽的第一样本数据对应的初始量化参数；
[0007]计算所述第一样本数据除以所述初始量化参数的第一商，并对所述第一商执行取整操作得到第一取整结果；
[0008]根据所述第一取整结果和第二位宽对应的取值范围确定出区间限定值；
[0009]计算所述区间限定值和所述初始量化参数的第一乘积，并将所述第一乘积作为第二位宽的预测样本数据；
[0010]若根据第二位宽的第二样本数据确定所述预测样本数据满足精度要求，则确定所述量化参数模型完成训练。
[0011]本申请实施例第二方面公开一种数据变换方法，包括：
[0012]通过第一变换矩阵对第一图像数据进行变换处理，得到第一位宽的第二图像数据；
[0013]根据所述第二图像数据对应的第一目标量化参数缩减所述第二图像数据的位宽，得到第二位宽的第三图像数据，所述第一目标量化参数是根据量化参数模型得到的，所述量化参数模型是根据样本集合训练得到的，所述样本集合至少包括第一位宽的第一样本数据及对应的第二位宽的第二样本数据，所述第二位宽的第二样本数据是对所述第一样本数据进行量化得到的；
[0014]对所述第二位宽的第三图像数据，和第二位宽的第一权重数据执行点乘运算，得到第四图像数据；
[0015]通过第二变换矩阵对所述第四图像数据进行变换处理，得到目标图像数据。
[0016]本申请实施例第三方面公开一种量化参数模型的训练装置，包括：
[0017]生成单元，用于通过待训练的量化参数模型生成第一位宽的第一样本数据对应的
初始量化参数；
[0018]取整单元，用于计算所述第一样本数据除以所述初始量化参数的第一商，并对所述第一商执行取整操作得到第一取整结果；
[0019]第一确定单元，用于根据所述第一取整结果和第二位宽对应的取值范围确定出区间限定值；
[0020]预测单元，用于计算所述区间限定值和所述初始量化参数的第一乘积，并将所述第一乘积作为第二位宽的预测样本数据；
[0021]第二确定单元，用于在根据第二位宽的第二样本数据确定所述预测样本数据满足精度要求时，确定所述量化参数模型完成训练。
[0022]本申请实施例第四方面公开一种数据变换装置，包括：
[0023]第一变换单元，用于通过第一变换矩阵对第一图像数据进行变换处理，得到第一位宽的第二图像数据；
[0024]缩减单元，用于根据所述第二图像数据对应的第一目标量化参数缩减所述第二图像数据的位宽，得到第二位宽的第三图像数据，所述第一目标量化参数是根据量化参数模型得到的，所述量化参数模型是根据样本集合训练得到的，所述样本集合至少包括第一位宽的第一样本数据及对应的第二位宽的第二样本数据，所述第二位宽的第二样本数据是对所述第一样本数据进行量化得到的；
[0025]点乘单元，用于对所述第二位宽的第三图像数据，和第二位宽的第一权重数据执行点乘运算，得到第四图像数据；
[0026]第二变换单元，用于通过第二变换矩阵对所述第四图像数据进行变换处理，得到目标图像数据。
[0027]本申请实施例第五方面公开一种电子设备，包括：
[0028]存储有可执行程序代码的存储器；
[0029]与所述存储器耦合的处理器；
[0030]所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的量化参数模型的训练方法，或者第二方面公开的数据变换方法。
[0031]本申请实施例第六方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的量化参数模型的训练方法，或者第二方面公开的数据变换方法。
[0032]与相关技术相比，本申请实施例具有以下有益效果：
[0033]本申请实施例提供的量化参数模型的训练方法，可以通过待训练的量化参数模型生成第一位宽的第一样本数据对应的初始量化参数；以及，计算第一样本数据除以初始量化参数的第一商，并对第一商执行取整操作得到第一取整结果；以及，根据第一取整结果和第二位宽对应的取值范围确定出区间限定值；以及，计算区间限定值和初始量化参数的第一乘积，并将第一乘积作为第二位宽的预测样本数据；以及，若根据第二位宽的第二样本数据确定预测样本数据满足精度要求，则确定量化参数模型完成训练。进而后续可以通过该量化参数模型对卷积运算中的参数进行量化处理，可以提高量化处理的精度，从而提高卷积运算的计算速度和正确率。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本申请实施例公开的一种量化参数模型的训练方法的流程示意图；
[0036]图2是本申请实施例公开的一种数据变换方法的流程示意图；
[0037]图3是本申请实施例公开的另一种数据变换方法的流程示意图；
[0038]图4是本申请实施例公开的又一种数据变换方法的流程示意图；
[0039]图5是本申请实施例公开的一种用于说明卷积运算中的位宽变化的示意图；
[0040]图6是本申请实施例公开的一种数据变换装置的结构示意图；
[0041]图7是本申请实施例公开的一种量化参数模型的训练装置的结构示意图；
[0042]图8是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
[0043]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0044]需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量化参数模型的训练方法，其特征在于，所述方法包括：通过待训练的量化参数模型生成第一位宽的第一样本数据对应的初始量化参数；计算所述第一样本数据除以所述初始量化参数的第一商，并对所述第一商执行取整操作得到第一取整结果；根据所述第一取整结果和第二位宽对应的取值范围确定出区间限定值；计算所述区间限定值和所述初始量化参数的第一乘积，并将所述第一乘积作为第二位宽的预测样本数据；若根据第二位宽的第二样本数据确定所述预测样本数据满足精度要求，则确定所述量化参数模型完成训练。2.根据权利要求1所述的方法，其特征在于，所述第二位宽对应的取值范围包括上限值和下限值；所述根据所述第一取整结果和第二位宽对应的取值范围确定出区间限定值，包括：根据第二位宽对应的取值范围，调整所述第一取整结果包括的各个元素对应的数值，并将调整后的第一取整结果作为区间限定值；以及，所述根据第二位宽对应的取值范围，调整所述第一取整结果包括的各个元素对应的数值，包括：若第一元素对应的数值大于或者等于所述上限值，则将所述第一元素对应的数值调整为所述上限值，所述第一元素为所述第一取整结果包括的任一元素；若第一元素对应的数值小于或者等于所述下限值，则将所述第一元素对应的数值调整为所述下限值；若第一元素对应的第一数值小于所述上限值，且大于所述下限值，则不对所述第一元素对应的数值进行调整。3.根据权利要求1所述的方法，其特征在于，所述若根据第二位宽的第二样本数据确定所述预测样本数据满足精度要求，则确定所述量化参数模型完成训练，包括：根据所述预测样本数据和第二位宽的第二样本数据确定目标数据精度，并根据所述目标数据精度调整所述待训练的量化参数模型的模型参数，直至所述目标数据精度满足精度要求时，确定所述量化参数模型层完成训练。4.根据权利要求1～3任一项所述的方法，其特征在于，所述待训练的量化参数模型包括N个量化层，所述N为大于或者等于2的正整数；所述通过待训练的量化参数模型生成第一位宽的第一样本数据对应的初始量化参数，包括：通过待训练的量化参数模型的第M个量化层，生成所述第一位宽的第一样本数据对应的初始量化参数，所述M为小于或者等于N
‑
1的正整数；以及，所述若所述预测样本数据满足精度要求，则确定所述量化参数模型完成训练，包括：若所述预测样本数据满足精度要求，则确定所述第M个量化层完成训练。5.根据权利要求4所述的方法，其特征在于，在所述确定所述第M个量化层完成训练之后，所述方法还包括：根据所述第一样本数据和所述第二样本数据，对所述待训练的量化参数模型的第M+1个量化层进行训练，所述第M+1个量化层为排列在所述第M个量化层之后的量化层；
在根据所述样本集合对所述待训练的量化参数模型的第N个量化层完成训练时，确定所述量化参数模型完成训练。6.一种数据变换方法，其特征在于，所述方法包括：通过第一变换矩阵对第一图像数据进行变换处理，得到第一位宽的第二图像数据；根据所述第二图像数据对应的第一目标量化参数缩减所述第二图像数据的位宽，得到第二位宽的第三图像数据，所述第一目标量化参数是根据量化参数模型得到的，所述量化参数模型是根据样本集合训练得到的，所述样本集合至少包括第一位宽的第一样本数据及对应的第二位宽的第二样本数据，所述第二位宽的第二样本数据是对所述第一样本数据进行量化得到的；对所述第二位宽的第三图像数据，和第二位宽的第一权重数据执行点乘运算，得到第四图像数据；通过第二变换矩阵对所述第四图像数据进行变换处理，得到目标图像数据。7.根据权利要求6所述的方法，其特征在于，在所述根据所述第二图像数据对应的第一目标量化参数缩减所述第二图像数据的位宽，得到第二位宽的第三图像数据之前，所述方法还包括：获取所述第一图像数据对应的第一量化参数，和所述第一变换矩阵对应的第二量化参数，所述第一量化参数和所述第二量化参数是根据量化参数模型的第一量化...

【专利技术属性】
技术研发人员：张锐，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：