本发明专利技术公开了一种量化模型生成方法、装置、计算机设备及存储介质。该方法包括：对待量化模型进行训练后量化，得到第一量化模型和第一量化模型对应的第一量化精度；在第一量化精度满足预设量化精度时，将第一量化模型，确定为目标量化模型；在第一量化精度不满足预设量化精度时，对第一量化模型进行训练时量化，得到第二量化模型；在第二量化精度满足预设量化精度时，将第二量化模型，确定为目标量化模型；在第二量化精度不满足预设量化精度时，对第二量化模型进行训练时量化，得到目标量化模型。该方法结合训练后量化和训练时量化，形成生成目标量化模型的统一流程，使目标量化模型的生成不依赖任何硬件平台，具有较强的量化流程统一性和迁移性。一性和迁移性。一性和迁移性。
【技术实现步骤摘要】
量化模型生成方法、装置、计算机设备及存储介质
[0001]本专利技术涉及模型量化
，尤其涉及一种量化模型生成方法、装置、计算机设备及存储介质。
技术介绍
[0002]现有技术中，深度神经网络模型在计算机视觉和自然语言处理等领域取得了显著的成果。然而，这些较为先进的深度神经网络模型往往具有巨大的参数量，要求较高的计算复杂度，并且，对存储和计算资源的需求十分巨大，因此，模型量化技术的出现变得十分必要。模型量化技术用于对携带原始任务的模型进行优化，将模型的参数表示从浮点数转换为定点数，从而减小参数的位数，降低存储需求和计算复杂度。
[0003]现有的模型量化技术主要采用训练后量化对待量化模型进行量化，生成量化模型，该量化方式使用校准集估计定点数，由于校准集不参与模型训练，训练后量化的量化方式不可避免的引入量化误差，导致生成的量化模型的精度不高，不适合对精度要求较高的原始任务进行处理。
[0004]因此，如何对待量化模型进行量化，生成精度较高的量化模型，是当前亟待解决的技术问题。
技术实现思路
[0005]本专利技术实施例提供一种量化模型生成方法、装置、计算机设备及存储介质，以解决如何对待量化模型进行量化，生成精度较高的量化模型的问题。
[0006]一种量化模型生成方法，包括：
[0007]对待量化模型进行训练后量化，得到第一量化模型和所述第一量化模型对应的第一量化精度；
[0008]在所述第一量化精度满足预设量化精度时，将所述第一量化模型，确定为目标量化模型；<br/>[0009]在所述第一量化精度不满足预设量化精度时，对所述第一量化模型进行训练时量化，得到第二量化模型和所述第二量化模型对应的第二量化精度；
[0010]在所述第二量化精度满足预设量化精度时，将所述第二量化模型，确定为目标量化模型；
[0011]在所述第二量化精度不满足预设量化精度时，对所述第二量化模型进行训练时量化，得到目标量化模型。
[0012]优选地，所述对所述待量化模型进行训练后量化，得到第一量化模型和所述第一量化模型对应的第一量化精度，包括：
[0013]采用训练样例对所述待量化模型进行训练后量化，得到所述待量化模型的量化参数，生成第一量化模型；
[0014]将同一测试样例分别输入至所述待量化模型和所述第一量化模型，得到所述待量
化模型对应的测试待量化特征和所述第一量化模型对应的第一测试量化特征；
[0015]对所述待量化模型对应的测试待量化特征和所述第一量化模型对应的第一测试量化特征进行相似度计算，得到所述第一量化模型对应的第一量化精度。
[0016]优选地，所述对所述第一量化模型进行训练时量化，得到第二量化模型和所述第二量化模型对应的第二量化精度，包括：
[0017]采用训练样例对所述第一量化模型进行训练时量化，根据所述待量化模型和训练时量化的第一量化模型，计算所述第一量化模型对应的第一损失函数值；
[0018]在所述第一损失函数值满足预设收敛条件时，将训练时量化后的所述第一量化模型，确定为第二量化模型；
[0019]将同一测试样例分别输入至所述待量化模型和所述第二量化模型，得到所述待量化模型对应的测试待量化特征和所述第二量化模型对应的第二测试量化特征；
[0020]对所述待量化模型对应的测试待量化特征和所述第二量化模型对应的第二测试量化特征进行相似度计算，得到所述第二量化模型对应的第二量化精度。
[0021]优选地，所述根据所述待量化模型和训练时量化的第一量化模型，计算所述第一量化模型对应的第一损失函数值，包括：
[0022]将同一训练样例分别输入至所述待量化模型和所述第一量化模型，得到所述待量化模型对应的训练待量化特征和所述第一量化模型对应的第一训练量化特征；
[0023]根据所述第一训练量化特征和所述训练待量化特征，计算所述第一量化模型对应的第一损失函数值。
[0024]优选地，所述对所述第二量化模型进行训练时量化，得到目标量化模型，包括：
[0025]采用训练样例对所述第二量化模型进行训练时量化，根据所述待量化模型和训练时量化的第二量化模型，计算所述第二量化模型对应的第二损失函数值；
[0026]在所述第二损失函数值满足预设收敛条件时，将训练时量化后的所述第二量化模型，确定为目标量化模型。
[0027]优选地，所述训练样例包括原始任务标签；
[0028]优选地，所述根据所述待量化模型和训练时量化的第二量化模型，计算所述第二量化模型对应的第二损失函数值，包括：
[0029]将同一训练样例分别输入至所述待量化模型和所述第二量化模型，得到所述待量化模型对应的训练待量化特征、所述第二量化模型对应的第二训练量化特征，和所述第二量化模型对应的原始任务输出；
[0030]根据所述第二训练量化特征和所述训练待量化特征，计算所述第二量化模型对应的特征度量损失函数值；
[0031]根据所述原始任务输出和所述原始任务标签，计算所述第二量化模型对应的原始任务损失函数值；
[0032]根据所述特征度量损失函数值和所述原始任务损失函数值，确定所述第二量化模型对应的第二损失函数值。
[0033]优选地，在所述对所述第二量化模型进行训练时量化，得到目标量化模型之后，所述量化模型生成方法还包括：
[0034]将所述目标量化模型转化为可部署的目标量化模型，并将所述可部署的目标量化
模型部署在目标平台。
[0035]一种量化模型生成装置，包括：
[0036]待量化模型获取模块，用于获取待量化模型；
[0037]训练后量化模块，用于对所述待量化模型进行训练后量化，得到第一量化模型和所述第一量化模型对应的第一量化精度；
[0038]第一目标量化模型确定模块，用于在所述第一量化精度满足预设量化精度时，将所述第一量化模型，确定为目标量化模型；
[0039]第一训练时量化模块，用于在所述第一量化精度不满足预设量化精度时，对所述第一量化模型进行训练时量化，得到第二量化模型和所述第二量化模型对应的第二量化精度；
[0040]第二目标量化模型确定模块，用于在所述第二量化精度满足预设量化精度时，将所述第二量化模型，确定为目标量化模型；
[0041]第三目标量化模型确定模块，用于在所述第二量化精度不满足预设量化精度时，对所述第二量化模型进行训练时量化，得到目标量化模型。
[0042]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述量化模型生成方法。
[0043]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述量化模型生成方法。
[0044]上述量化模型生成方法、装置、计算机设备及存储介质，对待量化模型进行训练后量化，得到第一量化模型和第一量化模型对应本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种量化模型生成方法，其特征在于，包括：对待量化模型进行训练后量化，得到第一量化模型和所述第一量化模型对应的第一量化精度；在所述第一量化精度满足预设量化精度时，将所述第一量化模型，确定为目标量化模型；在所述第一量化精度不满足预设量化精度时，对所述第一量化模型进行训练时量化，得到第二量化模型和所述第二量化模型对应的第二量化精度；在所述第二量化精度满足预设量化精度时，将所述第二量化模型，确定为目标量化模型；在所述第二量化精度不满足预设量化精度时，对所述第二量化模型进行训练时量化，得到目标量化模型。2.如权利要求1所述的量化模型生成方法，其特征在于，所述对所述待量化模型进行训练后量化，得到第一量化模型和所述第一量化模型对应的第一量化精度，包括：采用训练样例对所述待量化模型进行训练后量化，得到所述待量化模型的量化参数，生成第一量化模型；将同一测试样例分别输入至所述待量化模型和所述第一量化模型，得到所述待量化模型对应的测试待量化特征和所述第一量化模型对应的第一测试量化特征；对所述待量化模型对应的测试待量化特征和所述第一量化模型对应的第一测试量化特征进行相似度计算，得到所述第一量化模型对应的第一量化精度。3.如权利要求1所述的量化模型生成方法，其特征在于，所述对所述第一量化模型进行训练时量化，得到第二量化模型和所述第二量化模型对应的第二量化精度，包括：采用训练样例对所述第一量化模型进行训练时量化，根据所述待量化模型和训练时量化的第一量化模型，计算所述第一量化模型对应的第一损失函数值；在所述第一损失函数值满足预设收敛条件时，将训练时量化后的所述第一量化模型，确定为第二量化模型；将同一测试样例分别输入至所述待量化模型和所述第二量化模型，得到所述待量化模型对应的测试待量化特征和所述第二量化模型对应的第二测试量化特征；对所述待量化模型对应的测试待量化特征和所述第二量化模型对应的第二测试量化特征进行相似度计算，得到所述第二量化模型对应的第二量化精度。4.如权利要求3所述的量化模型生成方法，其特征在于，所述根据所述待量化模型和训练时量化的第一量化模型，计算所述第一量化模型对应的第一损失函数值，包括：将同一训练样例分别输入至所述待量化模型和所述第一量化模型，得到所述待量化模型对应的训练待量化特征和所述第一量化模型对应的第一训练量化特征；根据所述第一训练量化特征和所述训练待量化特征，计算所述第一量化模型对应的第一损失函数值。5.如权利要求1所述的量化模型生成方法，其特征在于，所述对所述第二量化模型进行训练时量化，得到目标量化模型，...
【专利技术属性】
技术研发人员：游文婧，肖嵘，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。