本发明专利技术公开一种基于双层知识蒸馏说话人模型压缩系统和方法，属于立体匹配算法的实现方式技术领域。包括：Embedding层知识蒸馏指导学生网络模仿教师网络的段级说话人表示(说话人表征)，它捕获了每个说话人特征的基本分布。Logit层知识蒸馏引导学生网络模仿教师网络的说话人后验概率分布，利用了说话人类别之间的相似性。此方法从教师网络那里迁移了说话人表征分布的层次结构。本发明专利技术解决了现有技术中学生网络不能实现较小的说话人类内差异和较大的说话人类间差异，且相同说话人和不同说话人验证系统的准确性较低的问题。验证系统的准确性较低的问题。验证系统的准确性较低的问题。
【技术实现步骤摘要】
一种基于双层知识蒸馏说话人模型压缩系统和方法
[0001]本专利技术属于基于双层知识蒸馏技术的模型压缩
，尤其涉及一种基于双层知识蒸馏说话人模型压缩系统和方法。
技术介绍
[0002]近年来，随着计算资源和数据资源的日益丰富。基于深度神经网络的机器学习使得说话人识别系统的准确率显著提升。对于网络连接不可用或担心个人隐私泄漏的情况，人们希望能够在手机等嵌入式设备本地使用说话人识别技术，这种在嵌入式终端运行的说话人识别系统具有更高的安全水平。然而，现有的说话人识别技术依赖于深度神经网络，昂贵的计算量和大量的内存占用阻碍了它们在内存资源较低的嵌入式设备中部署。因此，越来越多的研究关注在不显著降低模型性能的情况下，对深层网络进行模型压缩和加速。
[0003]为了压缩这些网络，知识蒸馏是一种常用的方法，其中大型网络(教师)提供加权目标以指导小型网络(学生)的训练。尽管事实证明知识蒸馏是在各种任务(例如图像分类，语音识别和说话者验证)中进行模型压缩的实用方法，但是以前的研究人员仅研究了单层知识蒸馏对说话人表征性能的影响，并且当压缩比例越来越大，这些方法不足以弥补大小模型之间的性能差距，要获得一名性能优于教师网络的学生网络仍然是一个挑战。
技术实现思路
[0004]本专利技术的目的是提供一种基于双层知识蒸馏说话人模型压缩系统和方法，以解决现有技术中学生网络不能实现较小的说话人类内差异和较大的说话人类间差异，且相同说话人和不同说话人验证系统的准确性较低的问题。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于双层知识蒸馏说话人模型压缩方法，包括：
[0007]S101，训练一个教师模型，教师模型能够提取教师网络学习的说话人表征，教师模型能够预测教师网络学习的说话人后验概率分布。
[0008]S102，教师模型包括一个教师网络，教师网络包括表征层和后验概率层。
[0009]S103，通过知识蒸馏，利用教师模型对学生模型进行训练。学生模型包括一个学生网络，学生模型能够提取学生网络学习的说话人表征。
[0010]S104，双层知识蒸馏能够从教师网络中同时提取表征层和后验概率层的知识。
[0011]S105，通过教师网络学习的说话人表征进行表征层知识蒸馏。
[0012]S106，表征层知识蒸馏指导学生网络模仿教师网络的说话人表征。
[0013]S107，通过教师网络学习的说话人后验概率分布进行后验概率层知识蒸馏。
[0014]S108，后验概率层知识蒸馏通过说话人类别之间的相似性引导学生网络模仿教师网络的说话人后验概率分布。
[0015]S109，双层知识蒸馏能够将学生网络和教师网络之间的表征层和后验概率层输出的差异添加到总分类损失中。
[0016]S110，双层蒸馏能够得到说话人类内表征的分布和类间表征的相似性。通过说话人表征的层次化分布指导学生实现较小的说话人类内差异和较大的说话人类间差异，从而最终提高说话人建模的准确性。
[0017]在上述技术方案的基础上，本专利技术还可以做如下改进：
[0018]进一步地，表征层知识蒸馏能够得到教师网络对每个说话人表征的总体分布，从而直接指导学生网络说话人类内表征的收敛。
[0019]进一步地，从教师网络后验概率层的输出中提取知识，后验概率层知识蒸馏通过教师模型能够预测的后验分布指导学生模型的优化。后验概率层知识蒸馏能够学到说话人类别之间的相似性。
[0020]进一步地，从教师网络后验概率层的输出中提取知识。
[0021]进一步地，将教师网络后验概率层的输出作为标准，纳入学生网络损失函数的计算，引导学生模型参数的更新。
[0022]进一步地，后验概率层知识蒸馏通过教师模型预测的后验概率分布指导学生模型的优化。
[0023]进一步地，学生模型通过分类函数AM
‑
loss引入参数m控制角度余量，学生模型在不同说话人类别的表征之间生成角度分类余量，学生模型能够使得正确分类的要求更为严格。
[0024]进一步地，总分类损失为表征层知识蒸馏的余弦距离损失、后验概率层知识蒸馏的KL散度损失和用于说话人分类的softmax损失。
[0025]一种基于双层知识蒸馏说话人模型压缩系统，包括：
[0026]训练一个教师模型，教师模型能够提取教师网络学习的说话人表征，教师模型能够预测教师网络学习的说话人后验概率分布。
[0027]教师模型包括一个教师网络，教师网络包括表征层和后验概率层。
[0028]通过知识蒸馏，利用教师模型对学生模型进行训练。学生模型包括一个学生网络，学生模型能够提取学生网络学习的说话人表征。
[0029]双层知识蒸馏能够从教师网络中同时提取表征层和后验概率层的知识。
[0030]通过教师网络学习的说话人表征进行表征层知识蒸馏。
[0031]表征层知识蒸馏指导学生网络模仿教师网络的说话人表征。
[0032]通过教师网络学习的说话人后验概率分布进行后验概率层知识蒸馏。
[0033]后验概率层知识蒸馏通过说话人类别之间的相似性引导学生网络模仿教师网络的说话人后验概率分布。
[0034]双层知识蒸馏能够将学生网络和教师网络之间的表征层和后验概率层输出的差异添加到总分类损失中。
[0035]双层蒸馏能够得到说话人类内表征的分布和类间表征的相似性。通过说话人表征的层次化分布指导学生实现较小的说话人类内差异和较大的说话人类间差异，从而最终提高说话人建模的准确性。
[0036]本专利技术具有如下优点：
[0037]本专利技术中的基于双层知识蒸馏说话人模型压缩系统，Embedding层知识蒸馏指导学生网络模仿教师网络的段级说话人表示(说话人表征)，它捕获了每个说话人特征的基本
分布。Logit层知识蒸馏引导学生网络模仿教师网络的说话人后验概率分布，利用了说话人类别之间的相似性。此方法从教师网络那里迁移了说话人表征分布的层次结构。双层知识蒸馏可以帮助学生网络实现较小的说话人类内差异和较大的说话人类间差异，并进一步提高相同说话人和不同说话人验证系统的准确性。
附图说明
[0038]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本专利技术基于双层知识蒸馏说话人模型压缩方法的流程图。
[0040]图2为本专利技术的双层知识蒸馏方法流程图。
[0041]图3为本专利技术的双层知识蒸馏原理示意图。
[0042]图4为本专利技术的双层知识蒸馏原理示意图。
[0043]图5为本专利技术的双层知识蒸馏和原始单层知识蒸馏的对比数据示意图。
具体实施方式
[0044]为使本专利技术实施例的目的、技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双层知识蒸馏说话人模型压缩方法，其特征在于，包括：S101，训练一个教师模型，所述教师模型能够提取教师网络学习的说话人表征，所述教师模型能够预测教师网络学习的说话人后验概率分布；S102，所述教师模型包括一个教师网络，所述教师网络包括表征层和后验概率层；S103，通过知识蒸馏，利用所述教师模型对学生模型进行训练；所述学生模型包括一个学生网络，所述学生模型能够提取学生网络学习的说话人表征；S104，所述双层知识蒸馏能够从所述教师网络中同时提取表征层和后验概率层的知识；S105，通过所述教师网络学习的说话人表征进行表征层知识蒸馏；S106，所述表征层知识蒸馏指导学生网络模仿教师网络的说话人表征；S107，通过所述教师网络学习的说话人后验概率分布进行后验概率层知识蒸馏；S108，所述后验概率层知识蒸馏通过说话人类别之间的相似性引导学生网络模仿教师网络的说话人后验概率分布；S109，所述双层知识蒸馏能够将所述学生网络和所述教师网络之间的表征层和后验概率层输出的差异添加到总分类损失中；S110，所述双层蒸馏能够得到说话人类内表征的分布和类间表征的相似性；通过说话人表征的层次化分布指导学生实现较小的说话人类内差异和较大的说话人类间差异，从而最终提高说话人建模的准确性。2.如权利要求1所述的基于双层知识蒸馏说话人模型压缩方法，其特征是，所述表征层知识蒸馏能够得到所述教师网络对每个说话人表征的总体分布，从而直接指导学生网络说话人类内表征的收敛。3.如权利要求2所述的基于双层知识蒸馏说话人模型压缩方法，其特征是，从所述教师网络后验概率层的输出中提取知识，所述后验概率层知识蒸馏通过所述教师模型能够预测的后验分布指导所述学生模型的优化；所述后验概率层知识蒸馏能够学到说话人类别之间的相似性。4.如权利要求3所述的基于双层知识蒸馏说话人模型压缩方法，其特征是，从所述教师网络后验概率层的输出中提取知识。5.如权利要求4所述的基于双层知识蒸馏说话人模型压缩方法，其特征是，将所述教...
【专利技术属性】
技术研发人员：李入云，宋丹丹，欧阳鹏，尹首一，
申请(专利权)人：江苏清微智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。