一种语音识别模型的量化定标方法及装置制造方法及图纸

本申请实施例记载了一种语音识别模型的量化定标方法。在该方法中，获取语音识别模型的待量化层的待量化数据；根据待量化数据最大值和待量化数据平均值计算第一比值；当第一比值小于或等于预设的阈值时，则计算量化标值，量化标值为当前整型的表示范围的最大值与待量化数据最大值的比值；根据量化标值对待量化数据进行训练，得到训练完成后的语音识别模型，训练后的语音识别模型用于对待识别的语音数据进行识别。由此可见，利用本申请实施例提供的方案，通过计算量化标值，并根据该量化标值对待量化数据进行转换，可以最大限度地降低计算转换过程中网络计算精度的丢失，通过对转换后的数据进行训练能够提高语音识别的精确度。度。度。

【技术实现步骤摘要】
一种语音识别模型的量化定标方法及装置


[0001]本申请涉及语音识别领域，尤其涉及一种语音识别模型的量化定标方法及装置。

技术介绍

[0002]为了追求更高的语音识别性能，不可避免的会导致语音识别模型的网络结构更加复杂。
[0003]面向神经网络的加速硬件与传统的针对超算的加速设备相比，对于设备的精度要求相对偏低，这也导致了目前加速硬件为了更好的提高设备的计算性能，越来越追求低精度的计算效率。通过在硬件层将精度降低，让出更多空间给其他加速部件。
[0004]基于神经网络的语音识别模型对加速硬件进行训练的过程中，一些加速硬件在一些稠密计算的算子如卷积、矩阵乘等，只设置了整型计算单元，因此，需要对语音识别模型的网络层的精度进行转换，从浮点数转变成定点数。而在浮点到整型计算转换过程中，奇异值的计算转换过程会造成网络计算精度的丢失，进而影响训练的效果。

技术实现思路

[0005]本申请实施例提供了一种语音识别模型的量化定标方法及装置，可以最大限度地降低计算转换过程中网络计算精度的丢失，提高语音识别的精确度。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音识别模型的量化定标方法，其特征在于，所述方法包括：获取初始语音识别模型的待量化层的待量化数据；计算待量化数据最大值和待量化数据平均值；根据所述待量化数据最大值和所述待量化数据平均值计算第一比值，所述第一比值为所述待量化数据最大值与所述待量化数据平均值的比值；当所述第一比值小于或等于预设的阈值时，则根据当前整型的表示范围和所述待量化数据的最大值计算量化标值，所述量化标值为当前整型的表示范围的最大值与所述待量化数据最大值的比值；根据所述量化标值对所述初始语音识别模型进行训练，得到训练完成后的语音识别模型，所述训练后的语音识别模型用于对待识别的语音数据进行识别。2.根据权利要求1所述的方法，其特征在于，所述待量化数据的数量为M，所述方法还包括：当所述第一比值大于所述预设的阈值时，则对所述待量化数据中取值最大的前N个待量化数据进行剔除处理，得到剔除处理后的(M
‑
N)个待量化数据，其中，M、N为正整数。3.根据权利要求2所述的方法，其特征在于，所述对所述待量化数据中取值最大的前N个待量化数据进行剔除处理包括：当所述第一比值大于所述预设的阈值时，则对所述待量化数据进行排序；根据预设的步长对排序后的待量化数据进行分桶，得到分桶后的待量化数据，其中，每个桶包括N个待量化数据；将所述分桶后的待量化数据中取值最大的一桶待量化数据删除，得到剔除处理后的待量化数据；计算所述剔除处理后的待量化数据最大值和所述剔除处理后的待量化数据平均值，并计算所述剔除处理后的待量化数据的第一比值；当所述剔除处理后的待量化数据的第一比值小于或等于所述预设的阈值时，则计算所述量化标值。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述剔除处理后的待量化数据的数量小于或等于M的一半，则分析所述待量化数据分布异常的原因。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述待量化数据进行迭代计算，并统计通过所述迭代计算得到的量化标值；当完成S次的迭代计算后，计算(S
‑
1)个量化标值的平均值；计算第S个量化标值与所述(S
...

【专利技术属性】
技术研发人员：张海俊，汪锦想，陈旭，于振华，宋彦，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：