【技术实现步骤摘要】
语音分类模型训练方法、语音分类方法、装置及设备
[0001]本专利技术涉及语音分类
，具体涉及语音分类模型训练方法、语音分类方法、装置及设备。
技术介绍
[0002]端到端深度神经网络已成为语音分类领域中的一种流行框架，与传统分类识别框架相比，它可以简化模型的构建和训练流程。在实际应用中，许多场合需要现有的语音分类模型既可以分类新场景下的语音数据，又能够保持原有场景的分类准确率。
[0003]相关技术中，由于新数据集的分布不一致等问题往往导致灾难性遗忘，即旧数据集的错误率急剧增大，因而多通过增量学习方法解决灾难性遗忘问题。目前的增量学习方法一般需要接触较多旧数据集或者与旧数据集一起联合训练，但在实际应用中往往受限且消耗的时间和计算成本很大。
技术实现思路
[0004]有鉴于此，本专利技术提供了语音分类模型训练方法、语音分类方法、装置及设备，以解决目前增量学习消耗时间和计算成本很大的问题。
[0005]第一方面，本专利技术提供了一种语音分类模型训练方法，方法包括：
[0006]获取...
【技术保护点】
【技术特征摘要】
1.一种语音分类模型训练方法，其特征在于，所述方法包括：获取训练数据，所述训练数据为新场景数据与分类错误数据；获取教师模型与学生模型，所述教师模型为已训练好的语音分类模型，所述学生模型的结构与所述教师模型的结构相同；将所述训练数据输入所述教师模型与所述学生模型，得到所述教师模型的预测结果、所述学生模型的预测结果、所述教师模型的中间层参数矩阵与所述学生模型的中间层参数矩阵；基于所述教师模型的预测结果、所述学生模型的预测结果、所述教师模型的中间层参数矩阵与所述学生模型的中间层参数矩阵，计算得到所述学生模型与所述教师模型之间的交叉熵损失、第一蒸馏损失、梯度类激活损失与第二蒸馏损失；基于所述交叉熵损失、第一蒸馏损失、梯度类激活损失与第二蒸馏损失，计算得到最终损失；基于所述最终损失，对所述学生模型进行梯度回传，得到目标语音分类模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述教师模型的预测结果与所述学生模型的预测结果，计算得到所述学生模型与所述教师模型之间的第一蒸馏损失，包括：对所述学生模型的预测结果进行激活，得到第一结果矩阵；对所述教师模型的预测结果进行归一化处理，得到第二结果矩阵；基于所述第一结果矩阵与所述第二结果矩阵，计算得到所述学生模型与所述教师模型之间的第一蒸馏损失。3.根据权利要求1所述的方法，其特征在于，所述基于所述教师模型的中间层参数矩阵与所述学生模型的中间层参数矩阵，计算得到所述学生模型与所述教师模型之间的梯度类激活损失，包括：基于所述教师模型的中间层参数矩阵与所述学生模型的中间层参数矩阵，获取所述教师模型的编码器注意力矩阵与所述学生模型的编码器注意力矩阵；基于所述教师模型的编码器注意力矩阵与所述学生模型的编码器注意力矩阵，计算得到所述教师模型的梯度热力图与所述学生模型的梯度热力图；计算所述教师模型的梯度热力图与所述学生模型的梯度热力图之间的差值，得到所述学生模型与所述教师模型之间的梯度类激活损失。4.根据权利要求1所述的方法，其特征在于，所述基于所述教师模型的中间层参数矩阵与所述学生模型的中间层参数矩阵，计算得到所述学生模型与所述教师模型之间的第二蒸馏损失，包括：对所述教师模型的中间层参数矩阵与所述学生模型的中间层参数矩阵进行主成分提取，得到所述教师模型各中间层的重要特征与所述学生模型各中间层的重要特征；计算所述教师模型各中间层的重要特征与所述学生模型各中间层的重要特征之间的最短变化路径；计算所述最短变化路径均值与所述教师模型各中间层的重要特征之商，得到所述学生模型与所述教师模型之间的第二蒸馏损失。5.根据权利要求1所述的方法，其特征在于，所述基于所述交叉熵损失、第一蒸馏损失、梯度类激活损失与第二蒸馏损失，计算得到最终损失，包括：
通过公式loss...
【专利技术属性】
技术研发人员：赵晴，
申请(专利权)人：镁佳北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。