语音情绪识别模型训练方法、语音情绪识别方法及装置制造方法及图纸

本发明专利技术提供语音情绪识别模型训练方法、语音情绪识别方法及装置，该方法包括：获取无标注语音数据集及有标注语音数据集；基于无标注语音数据集进行自监督训练，得到预训练模型；基于有标注语音数据集对预训练模型进行训练，得到初始语音情绪识别模型；基于初始语音情绪识别模型，对无标注语音数据集进行筛选，得到无标注训练数据集；基于无标注训练数据集和有标注语音数据集对预训练模型进行半监督训练，得到目标语音情绪识别模型。通过本发明专利技术，能够利用很少的标注语音数据，通过自监督学习及半监督学习，训练得到语音情绪识别模型，大幅度降低了对有标注语音的依赖性，训练得到的语音情绪识别模型具备鲁棒性高、泛化能力强、可跨领域使用的特点。领域使用的特点。领域使用的特点。

【技术实现步骤摘要】
语音情绪识别模型训练方法、语音情绪识别方法及装置


[0001]本专利技术涉及计算机
，具体涉及语音情绪识别模型训练方法、语音情绪识别方法及装置。

技术介绍

[0002]语音是日常生活中交流的主要媒介，它不仅传达了思想，还表达了说话人的情绪状态。语音情绪识别的目标是从语音中识别出人类的情绪状态。语音情绪识别是计算机对人类上述情绪感知和理解过程的模拟，利用计算机分析情绪，提取出情绪特征值，并利用这些参数进行相应的建模和识别，建立特征值与情绪的映射关系，目标实现对情绪分类。
[0003]相关技术中，语音情绪识别系统依赖大量的人工标注，标注难度大，成本高，且鲁棒性和跨领域泛化的能力非常差。

技术实现思路

[0004]因此，本专利技术要解决的技术问题在于克服现有技术中语音情绪识别系统依赖大量的人工标注的缺陷，从而提供语音情绪识别模型训练方法、语音情绪识别方法及装置。
[0005]结合第一方面，本专利技术提供一种语音情绪识别模型训练方法，所述方法包括：
[0006]获取无标注语音数据集及有标注语音数据集，所述有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音情绪识别模型训练方法，其特征在于，所述方法包括：获取无标注语音数据集及有标注语音数据集，所述有标注语音数据集中的标注为语音对应的情绪；基于所述无标注语音数据集进行自监督训练，得到预训练模型；基于所述有标注语音数据集对所述预训练模型进行训练，得到初始语音情绪识别模型；基于所述初始语音情绪识别模型，对所述无标注语音数据集进行筛选，得到无标注训练数据集；基于所述无标注训练数据集和所述有标注语音数据集对所述预训练模型进行半监督训练，得到目标语音情绪识别模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述初始语音情绪识别模型，对所述无标注语音数据集进行筛选，得到无标注训练数据集，包括：基于所述初始语音情绪识别模型，对所述无标注语音数据集的情绪进行分类，得到包含不同情绪的所述无标注语音数据，以相同的比例选取包含不同情绪种类的无标注语音数据，得到所述无标注训练数据集。3.根据权利要求1所述的方法，其特征在于，所述基于所述无标注训练数据集和所述有标注语音数据集对所述预训练模型进行半监督训练，得到目标语音情绪识别模型包括：对所述无标注训练数据集进行数据增强，得到增强数据集；基于所述有标注语音数据集、无标注训练数据集及增强数据集，对所述预训练模型进行训练，得到所述目标语音情绪识别模型。4.根据权利要求3所述的方法，其特征在于，所述基于所述有标注语音数据集、无标注训练数据集及增强数据集，对所述预训练模型进行训练，得到目标语音情绪识别模型，包括：将所述有标注语音数据集、无标注训练数据集及增强数据集输入所述预训练模型，计算得到所述有标注语音数据集输出概率、无标注训练数据集输出概率及增强数据集输出概率；基于所述有标注语音数据集输出概率、无标注训练数据集输出概率及增强数据集输出概率，计算得到有标注语音数据集损失及无标注训练数据集损失；基于所述有标注语音数据集损失及无标注训练数据集损失，对所述预训练模型进行训练，得到所述目标语音情绪识别模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述有标注语音数据集输出概率、无标注训练数据集输出概率及增强数据集输出概率，计算得到所述有标注语音数据集损失及无标注训练数据集损失，包括：基于所述有标注语音数据集输出概率及所述有标注语音数据集对应的标注类别，计算得到所述有标注语音数据集的交叉熵损失作为所述有标注语音数据集损失；设定阈值，在所述无标注训练数据集输出概率大于所述阈值时，基于所述无标注...

【专利技术属性】
技术研发人员：李蒙，
申请(专利权)人：镁佳北京科技有限公司，
类型：发明
国别省市：