情感识别模型的训练方法、情感识别方法、装置、电子设备、存储介质和程序产品制造方法及图纸

技术编号:41857515 阅读:22 留言:0更新日期:2024-06-27 18:32
本公开涉及一种情感识别模型的训练方法、情感识别方法、装置、电子设备、存储介质和程序产品。所述方法包括:获得多模态训练数据集,其中,所述多模态训练数据集包括多项多模态训练数据;采用所述多模态训练数据集,训练第一多模态情感识别模型,其中,所述第一多模态情感识别模型包括文本编码器、音频编码器、融合模块和多模态解码器;响应于所述第一多模态情感识别模型训练至满足第一预设训练条件,在所述第一多模态情感识别模型中增加说话人编码器和说话人解码器,得到第二多模态情感识别模型;采用所述多模态训练数据集,训练所述第二多模态情感识别模型,直至满足第二预设训练条件。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种情感识别模型的训练方法、情感识别方法、情感识别模型的训练装置、情感识别装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、语音是日常生活中的主要交流媒介之一,它不仅传达了思想,还表达了说话人的情感状态。语音情感识别可以检测用户的心理健康状况,也可以在不同的场景(例如,数字人、客服等场景)根据用户的情感变化进行相应的反馈和回复等。此外,语音情感识别也有助于家长了解孩子的心理健康状况。

2、然而,在语音情感识别系统中,标注情感数据是一项具有挑战性的任务,这使得语音情感识别模型更容易受到训练集中的说话人的情感的影响。换句话说,如果我们在测试阶段使用与训练集中不同的说话人,则系统常常会出现错误的情感识别结果。另外,语音情感识别具有一定的主观性,这是因为不同的用户可能对同一句话有不同的情感理解。也就是说,有些人可能会认为某句话带有某种特殊或强烈的情感,而另一些人则可能认为它表达的是平静的情感。

3、如何提高情感识别的准确性,是亟待解决的技术问题。


术实现思路<本文档来自技高网...

【技术保护点】

1.一种情感识别模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在训练所述第二多模态情感识别模型的过程中,固定所述文本编码器和所述音频编码器的参数,更新所述说话人编码器、所述说话人解码器、所述融合模块和所述多模态解码器的参数。

3.根据权利要求1所述的方法,其特征在于,任意一项多模态训练数据包括情感标签、训练文本和训练音频;

4.根据权利要求3所述的方法,其特征在于,所述第一多模态情感识别模型还包括适配模块;

5.根据权利要求4所述的方法,其特征在于,所述通过所述融合模块对所述第一文本特征向量和所述第一降维特征...

【技术特征摘要】

1.一种情感识别模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在训练所述第二多模态情感识别模型的过程中,固定所述文本编码器和所述音频编码器的参数,更新所述说话人编码器、所述说话人解码器、所述融合模块和所述多模态解码器的参数。

3.根据权利要求1所述的方法,其特征在于,任意一项多模态训练数据包括情感标签、训练文本和训练音频;

4.根据权利要求3所述的方法,其特征在于,所述第一多模态情感识别模型还包括适配模块;

5.根据权利要求4所述的方法,其特征在于,所述通过所述融合模块对所述第一文本特征向量和所述第一降维特征向量进行融合,得到所述多模态训练数据对应的第一融合特征向量,包括:

6.根据权利要求3所述的方法,其特征在于,任意一项多模态训练数据还包括说话人标签;

7.根据权利要求1所述的方法,其特征在于,在所述采用所述多模态训练数据集,训练第一多模态情感识别模型之前,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,在所述采用所述多模态训练数据集,训...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:摩尔线程智能科技北京有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1