语音模型的自适应量化压缩方法、系统和电子设备技术方案

本发明专利技术实施例提供一种语音模型的自适应量化压缩方法、系统和电子设备。该方法包括：对语音模型进行基于矩阵的敏感度分析，基于分析出的语音模型内神经网络不同层级对量化的敏感度差异，对语音模型进行混合精度量化压缩搜索，确定语音模型在设定压缩比下的参数权重分布；基于参数权重分布对语音模型的参数进行分隔处理，得到多个分隔区间，对分隔区间进行聚类，得到各分隔区间的量化目标值；利用各分隔区间的量化目标值对语音模型进行多阶段微调自适应量化压缩，得到轻量化语音模型。本发明专利技术实施例，在模型性能没有明显下降的基础上，减小了模型的大小，使其可以应用于存储空间受限的轻量型的设备中。的轻量型的设备中。的轻量型的设备中。

【技术实现步骤摘要】
语音模型的自适应量化压缩方法、系统和电子设备


[0001]本专利技术涉及智能语音领域，尤其涉及一种语音模型的自适应量化压缩方法、系统和电子设备。

技术介绍

[0002]随着深度神经网络模型的发展，深度神经网络模型在语音识别、说话人验证等领域已经取得了优异的性能。在深度神经网络模型的架构中，ResNet和ECAPA
‑
TDNN(Emphasized Channel Attention,Propagation and Aggregation Time
‑
Delay Neural Network，强化注意力、传播和聚合时间的时延神经网络)是最流行、最有效的说话人嵌入提取器。虽然这些模型会带来更优异的性能，但它们会占用大量的内存，这就限制了它们在移动设备等轻量级设备中的应用。
[0003]为了解决上述问题，通常会对模型进行压缩，减小模型的大小，使其能够应用于轻量级的设备中，例如，使用二值量化方法，通过在网络训练中使用二值近似来将网络的大部分参数转换成离散的两个值。使用指数量化用以2为底的指数函数值量化网络参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音模型的自适应量化压缩方法，包括：对语音模型进行基于矩阵的敏感度分析，基于分析出的所述语音模型内神经网络不同层级对量化的敏感度差异，对所述语音模型进行混合精度量化压缩搜索，确定所述语音模型在设定压缩比下的参数权重分布；基于所述参数权重分布对所述语音模型的参数进行分隔处理，得到多个分隔区间，对所述分隔区间进行聚类，得到各分隔区间的量化目标值；利用所述各分隔区间的量化目标值对所述语音模型进行多阶段微调自适应量化压缩，得到轻量化语音模型。2.根据权利要求1所述的方法，其中，所述利用所述各分隔区间的量化目标值对所述语音模型进行多阶段微调自适应量化压缩包括：基于所述量化目标值对所述语音模型内神经网络的不同层级按照低量化精度至高量化精度的顺序进行多阶段微调自适应量化压缩。3.根据权利要求1所述的方法，其中，在所述对语音模型进行基于矩阵的敏感度分析之前，所述方法还包括：对所述语音模型进行量化压缩的参数扩充。4.根据权利要求1所述的方法，其中，对所述分隔区间进行聚类包括：对所述分隔区间内的参数按照预设数量的中心点进行K
‑
Means聚类，得到各分隔区间的量化目标值。5.根据权利要求1所述的方法，其中，所述语音模型包括说话人确认模型。6.一种语音模型的自适应量化压缩系统，包括：参数权重分布确定程序模块，用于对语音模...

【专利技术属性】
技术研发人员：俞凯，王浩宇，刘贝，吴逸飞，钱彦旻，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：