语音模型的量化方法、装置、服务器及存储介质制造方法及图纸

本申请实施例公开了一种语音模型的量化方法、装置、服务器及存储介质，涉及人工智能领域。包括：获取原始语音模型，原始语音模型为训练完成的神经网络模型；基于第一量化策略和第二量化策略中的至少一种确定目标参数，第一量化策略指示基于原始语音模型中权重参数的数值分布情况确定目标参数，第二量化策略指示基于原始语音模型中神经元输出的激活结果确定目标参数；对原始语音模型的目标参数进行量化，得到量化语音模型；在量化语音模型满足模型精度需求和压缩率需求的情况下，将量化语音模型确定为目标语音模型。采用本申请实施例的方法，可以对原始语音模型中影响程度较小的权重参数进行量化，从而兼顾模型的预测效果和模型的体积大小。型的体积大小。型的体积大小。

【技术实现步骤摘要】
语音模型的量化方法、装置、服务器及存储介质


[0001]本申请实施例涉及人工智能领域，特别涉及一种语音模型的量化方法、装置、服务器及存储介质。

技术介绍

[0002]随着人工智能技术的发展，神经网络模型被广泛应用于各种领域。然而，这些模型通常需要大量的计算资源和存储空间，在移动设备和嵌入式系统等资源受限的设备上部署这些模型可能会面临性能瓶颈。
[0003]相关技术中，通常会采用模型量化的方式以减少神经网络模型的参数量和计算量。模型量化是一种将浮点计算转成低比特定点计算的技术，可以有效的降低模型计算强度、参数大小和内存消耗等。模型量化包括量化感知训练（Quantization Aware Training）和训练后量化（Post
‑
Training Quantization）等方式。
[0004]然而，量化后的模型可能具有较大的精度损失。

技术实现思路

[0005]本申请实施例提供了一种语音模型的量化方法、装置、服务器及存储介质。技术方案如下。
[0006]一方面，本申请实施例提供了一种语音模型的量化方法，方法包括：获取原始语音模型，原始语音模型为训练完成的神经网络模型；基于至少一种量化策略确定原始语音模型中待量化的目标参数；量化策略包括第一量化策略和第二量化策略中的至少一种，第一量化策略指示基于原始语音模型中权重参数的数值分布情况确定目标参数，第二量化策略指示基于原始语音模型中神经元输出的激活结果确定目标参数；对原始语音模型的目标参数进行量化，得到量化语音模型；在量化语音模型满足模型精度需求，且量化语音模型满足压缩率需求的情况下，将量化语音模型确定为目标语音模型。
[0007]另一方面，本申请实施例提供了一种语音模型的量化装置，装置包括：模型获取模块，用于获取原始语音模型，原始语音模型为训练完成的神经网络模型；目标参数确定模块，用于基于至少一种量化策略确定原始语音模型中待量化的目标参数；量化策略包括第一量化策略和第二量化策略中的至少一种，第一量化策略指示基于原始语音模型中权重参数的数值分布情况确定目标参数，第二量化策略指示基于原始语音模型中神经元输出的激活结果确定目标参数；模型量化模块，用于对原始语音模型的目标参数进行量化，得到量化语音模型；模型验证模块，用于在量化语音模型满足模型精度需求，且量化语音模型满足压缩率需求的情况下，将量化语音模型确定为目标语音模型。
[0008]另一方面，本申请实施例提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条程序代码，至少一条程序代码由处理器加载并执行，以实现上述任一方面所述的语音模型的量化方法。
[0009]另一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有至少一条指令，指令由处理器加载并执行以实现如上述任一方面所述的语音模型的量化方法。
[0010]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述任一方面所述的语音模型的量化方法。
[0011]本申请实施例中，基于原始语音模型中权重参数的数值分布情况确定目标参数，以及基于原始语音模型中神经元输出的激活结果确定目标参数中的至少一种方式，可以对原始语音模型中影响程度较小的权重参数进行量化；在量化语音模型满足模型精度需求和压缩率需求的情况下，将量化语音模型确定为目标语音模型，可以兼顾模型的预测效果和模型的体积大小，在保证语音模型效率的同时，尽可能地减少语音模型的内存和计算复杂度，减少语音模型对游戏渲染流畅性的影响。
附图说明
[0012]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1是本申请一个示例性实施例提供的语音模型的量化方法的流程图；图2是相关技术中通过32 bits表示二进制数的示意图；图3是本申请一个示例性实施例提供的线性量化的示意图；图4是本申请一个示例性实施例提供的线性量化前32 bits浮点数与线性量化后8 bits定点数之间的映射关系的示意图；图5是本申请一个示例性实施例提供的将乘积运算的运算结果存储为32 bits浮点数后再量化为8 bits定点数的示意图；图6是本申请一个示例性实施例提供的将原始语音模型中小于第一系数阈值的权重参数确定为目标参数的示意图；图7是本申请一个示例性实施例提供的基于第一系数阈值进行阈值下调的流程图；图8是本申请一个示例性实施例提供的将原始语音模型中小于第i系数阈值，且位于原始语音模型中最后N层网络层的权重参数确定为目标参数的示意图；图9是本申请一个示例性实施例提供的基于原始语音模型中神经元输出的激活结果确定目标参数的示意图；图10是本申请一个示例性实施例提供的将平均激活结果小于第一激活门限的神经元确定为目标神经元的示意图；
255（无符号整数）之间。8 bits定点数在计算机领域具有广泛应用，如颜色深度、音频采样和数据压缩等。
[0021]随着深度学习技术的普及，神经网络模型在各种应用场景中取得了显著的成功。然而，这些模型通常需要大量的计算资源和存储空间。在移动设备和嵌入式系统等资源受限的设备上部署这些模型可能会面临性能瓶颈。
[0022]模型量化是减小神经网络模型大小和计算复杂度的有效方法，但现有的量化方法通常需要对模型进行额外训练，导致训练开销增加。
[0023]采用训练后量化的方法可以无需原始的训练过程就能将预训练的32比特位的浮点网络直接转换为低比特位（如8比特）的定点网络。训练后量化的方法通常不需要数据（Data
‑
Free）或者只需要很少的校准数据集。
[0024]然而，量化后的模型可能发生较大的精度损失，因此，在量化过程中存在模型精度与模型体积之间如何平衡和兼顾的问题。
[0025]以游戏场景中的语音模型为例，模型精度和模型体积不平衡会造成很多影响。例如，在语音模型为语音黑词识别模型的情况下，模型精度如果不满足模型精度需求，可能无法准确地识别出黑词；模型体积如果不满足压缩率需求，模型所需要的内存和计算复杂度将会很大，从而带来影响游戏渲染的流畅性等不利影响。
[0026]图1是本申请一个示例性实施例提供的语音模型的量化方法的流程图。该方法包括以下步骤。
[0027]步骤101，获取原始语音模型，原始语音模型为训练完成的神经网络模型。
[0028]原始语音模型可以是输入为语音数据的多种功能的神经网络模型。在一些实施例中，原始语音模型可以是用于从输入的语音中识别出黑词的语音黑词识别模型；在一些实施例中，原始语音模型可以是用于将输入的语音转换成对应的文本的语音转文本模型；在另一些实施例中，原始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音模型的量化方法，其特征在于，所述方法包括：获取原始语音模型，所述原始语音模型为训练完成的神经网络模型；基于至少一种量化策略确定所述原始语音模型中待量化的目标参数；所述量化策略包括第一量化策略和第二量化策略中的至少一种，所述第一量化策略指示基于所述原始语音模型中权重参数的数值分布情况确定所述目标参数，所述第二量化策略指示基于所述原始语音模型中神经元输出的激活结果确定所述目标参数；对所述原始语音模型的所述目标参数进行量化，得到量化语音模型；在所述量化语音模型满足模型精度需求，且所述量化语音模型满足压缩率需求的情况下，将所述量化语音模型确定为目标语音模型。2.根据权利要求1所述的方法，其特征在于，所述基于至少一种量化策略确定所述原始语音模型中待量化的目标参数，包括：基于所述原始语音模型中权重参数的数值分布情况，以及所述压缩率需求，确定第一系数阈值；将所述原始语音模型中小于所述第一系数阈值的权重参数确定为所述目标参数，其中，基于所述第一系数阈值对所述原始语音模型进行量化后得到的量化语音模型的压缩率大于或等于所述压缩率需求指示的目标压缩率。3.根据权利要求2所述的方法，其特征在于，所述基于至少一种量化策略确定所述原始语音模型中待量化的目标参数，还包括：在第i量化语音模型不满足所述模型精度需求的情况下，在第i系数阈值的基础上进行阈值下调，得到第i+1系数阈值，其中，所述第i量化语音模型基于所述第i系数阈值对所述原始语音模型进行量化得到，i为正整数；将所述原始语音模型中小于所述第i+1系数阈值的权重参数确定为所述目标参数。4.根据权利要求3所述的方法，其特征在于，所述在第i系数阈值的基础上进行阈值下调，得到第i+1系数阈值，包括：基于下调步长，对所述第i系数阈值进行阈值下调，得到所述第i+1系数阈值。5.根据权利要求3所述的方法，其特征在于，所述基于至少一种量化策略确定所述原始语音模型中待量化的目标参数，还包括：在所述阈值下调的次数达到次数阈值的情况下，基于所述第一系数阈值至第j系数阈值、第一轮精度评估结果至第j轮精度评估结果，以及所述原始语音模型中权重参数的数值分布情况，训练阈值预测模型，所述阈值预测模型用于基于权重参数的数值分布情况以及模型精度进行系数阈值预测，j为正整数；将所述模型精度需求和所述权重参数的数值分布情况输入所述阈值预测模型，得到所述阈值预测模型输出的系数阈值预测结果；将所述原始语音模型中小于所述系数阈值预测结果的权重参数确定为所述目标参数。6.根据权利要求3所述的方法，其特征在于，所述基于至少一种量化策略确定所述原始语音模型中待量化的目标参数，还包括：在所述第i量化语音模型不满足所述模型精度需求，且所述第i量化语音模型的模型精度与所述模型精度需求的差值小于精度阈值的情况下，将所述原始语音模型中小于所述第i系数阈值，且位于所述原始语音模型中最后N层网络层的权重参数确定为所述目标参数。
7.根据权利要求3所述的方法，其特征在于，所述基于至少一种量化策略确定所述原始语音模型中待量化的目标参数，还包括：在所述第i量化语音模型不满足所述模型精度需求且满足所述压缩率需求，所述第i+1量化语音模型满足所述模型精度需求且不满足所述压缩率需求的情况下，对于所述第i量化语音模型中的神经元，基于所述神经元在不同样本下输出的激活结果，确定补充激活门限；基于所述补充激活门限，从所述原始语音模型的神经元中确定量化补充神经元；将所述原始语音模型中小于所述第i系数阈值的权重参数，以及所述量化补充神经元的权重参数，确定为所述目标参数，其中，基于所述第i系数阈值和所述补充激活门限对所述原始语音模型进行量化后得到的量化语音模型满足所述模型精度需求和所述压缩率需求。8.根据权利要求7所述的方法，其特征在于，所述对于所述第i量化语音模型中的神经元，基于所述神经元在不同样本下输出的激活结果，确定补充激活门限，包括：对于所述第i量化语音模型中的神经元，基于所述神经元在不同样本下输出的激活结果，以及所述第i量化语音模型的模型精度与所述模型精度需求的差值，确定所述补充激活门限，其中，所述补充激活门限正相关于所述差值。9.根据权利要求1所述的方法，其特征在于，所述基于至少一种量...

【专利技术属性】
技术研发人员：周伟，赵楚涵，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：