数据处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法，装置、设备及计算机可读存储介质。其中方法包括：获取预训练模型，以及第二训练数据集，并采用第二训练数据集对预训练模型进行迭代训练；在迭代训练过程中若当前迭代次数满足参数量化条件，则从N个网络层中确定出目标待量化网络层，对目标待量化网络层进行量化，根据量化后的目标待量化网络层更新预训练模型；并采用第二训练数据集对更新后的预训练模型进行训练，得到量化模型。可见，在对预训练模型进行迭代训练过程中，通过采用量化后的目标待量化网络层来更新预训练模型，实现了更好的模型量化。实现了更好的模型量化。实现了更好的模型量化。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机可读存储介质


[0001]本申请涉及人工智能领域，具体涉及一种数据处理方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着计算机技术的不断发展，越来越多的神经网络模型被应用于各类业务中；例如，人脸识别模型被应用于人脸检测，噪声优化模型被应用于降低噪声。研究发现，神经网络模型的表征能力与其规模(参数量，计算量)有着较强的正相关性；简单来说，规模较大的神经网络模型的预测结果的精确度优于规模较小的神经网络模型的预测结果的精确度。但是，规模越大的神经网络在部署时，对设备的配置参数要求越高，比如要求更大的存储空间，要求更高的运行速度等等。因此，为了将规模大的神经网络配置在存储空间有限或者功耗有限的设备中，需要对大规模的神经网络进行量化处理。目前，在人工智能领域中，如何对神经网络模型进行量化处理成为研究的热点问题之一。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、装置、设备及计算机可读存储介质，实现了模型量化。
[0004]一方面，本申请实施例提供了一种数据处理方法，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取预训练模型，所述预训练模型包括N个网络层；所述预训练模型是基于第一训练数据集进行迭代训练得到的，所述第一训练数据集包括全精度的第一训练数据以及所述第一训练数据的训练标签；获取第二训练数据集，并采用所述第二训练数据集对所述预训练模型进行迭代训练；所述第二训练数据集包括量化的第二训练数据以及所述第二训练数据对应的训练标签；在迭代训练过程中，若当前迭代次数满足参数量化条件，则从所述N个网络层中确定出目标待量化网络层，并对所述目标待量化网络层进行量化；以及根据量化后的目标待量化网络层更新所述预训练模型；采用所述第二训练数据集对更新后的预训练模型进行训练，得到量化模型。2.如权利要求1所述的方法，其特征在于，所述对所述目标待量化网络层进行量化，包括：获取量化系数，并基于所述量化系数与第一参数计算伪量化算子，所述第一参数是指所述目标待量化网络层中的参数；将所述第一参数与所述伪量化算子进行预设的运算处理，并采用运算处理结果替换所述目标待量化网络层。3.如权利要求2所述的方法，其特征在于，所述第一参数的数量为至少一个，所述获取量化系数，包括：确定量化位数，以及从至少一个第一参数中确定满足绝对值要求的目标第一参数；将所述目标第一参数和所述量化位数代入量化系数运算规则中进行运算得到量化系数。4.如权利要求2所述的方法，其特征在于，所述基于所述量化系数与第一参数计算伪量化算子，包括：将所述第一参数和所述量化系数进行相除运算，并采用取整函数对相除运算结果进行取整运算；将取整运算结果与所述量化系数进行相乘运算，得到伪量化算子。5.如权利要求1所述的方法，其特征在于，所述N个网络层中包括按照网络由浅至深顺序连接的M个卷积层和W个全连接层，M，W为正整数，且M，W均小于N，所述从所述N个网络层中确定出目标待量化网络层，包括：按照由浅至深顺序从M个卷积层和W个全连接层中，选择未进行量化处理的网络层；将选择的网络层作为目标待量化网络层。6.如权利要求1所述的方法，其特征在于，所述方法还包括：采用所述第二训练数据集对更新后的预训练模型进行训练过程中，若当前迭代次数满足参数量化条件，且所述N个网络层中存在待量化处理的待量化网络层，将待量化处理的待量化网络层确定为目标待量化网络层，并触发执行对所述目标待量化网络层进行量化的步骤。7.如权利要求1所述的方法，其特征在于，所述采用所述第二训练数据集对更新后的预训练模型进行训练，得到量化模型，包括：采用所述第二训练数据集对更新后的预训练模型进行训练，训练完成后得到待转换模
型；基于量化系数对所述待转换模型包括的N个网络参数进行量化转换，得到量化模型。8...

【专利技术属性】
技术研发人员：顾佳昕，吴佳祥，沈鹏程，李绍欣，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：