当前位置: 首页 > 专利查询>莆田学院专利>正文

多模态融合的对话情感计算方法及装置制造方法及图纸

技术编号:46377514 阅读:7 留言:0更新日期:2025-09-15 12:57
本发明专利技术公开了一种多模态融合的对话情感计算方法及装置,包括:建立情绪调节参数数据库,以及以图谱的形式构建人物性格和情感状态转移的情绪调节策略模型,搭建融合上下文语境信息和认知评价模型的强化学习模型,和基于声学特征和深度特征寻优融合的语音情感识别模型,加权融合第一情感数据和第二情感数据,得到最终的当前话语的情感类别。本发明专利技术从情感产生机制的角度综合考虑对话上下文语境信息和认知评价的影响,利用强化学习算法建立对话情感计算模型;建立基于声学和深度特征寻优融合的语音情感识别模型;融合两个模型识别结果,充分挖掘从情感产生到呈现过程的情感相关因素,提高情感识别率。

【技术实现步骤摘要】

本申请涉及人工智能,具体涉及一种多模态融合的对话情感计算方法及装置


技术介绍

1、随着人工智能技术的蓬勃发展,语音情感识别作为人机交互领域的核心技术,在智能客服、心理健康监测、自动驾驶安全交互等场景中展现出广阔的应用前景。精准识别语音中的情感信息,不仅能显著提升人机交互的自然流畅度与用户体验,更对推动智能设备的情感化演进具有关键性意义。

2、当前,国内外关于语音情感识别的研究主要围绕两大方向展开:其一,通过优化语音情感特征提取技术,从语音信号中挖掘更具表征力的声学特征,如韵律特征、频谱特征等;其二,持续改进识别算法模型,将传统机器学习算法与深度学习模型深度融合,例如借助卷积神经网络(cnn)、循环神经网络(rnn)及其衍生模型lstm、gru等构建端到端的识别系统。然而,现有研究方法普遍忽略了情感本身所固有的主观性、动态性和个体差异性等特殊属性。情感表达不仅受制于语言内容,还与说话者的文化背景、情绪状态波动及语音环境紧密相关。由于未能充分考量这些情感特殊性,导致现有语音情感识别系统在复杂真实场景下的识别准确率难以满足实际应用需求,亟待提出一种本文档来自技高网...

【技术保护点】

1.一种多模态融合的对话情感计算方法,其特征在于,包括:

2.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述使用所述情绪调节参数数据库对所述情绪调节策略模型进行训练,得到不同人物性格在不同的情感状态下情感表达的影响参数,包括:

3.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述认知评价相关因素包括性格,所述人物性格包括:外倾性、神经质、开放性、宜人性、尽责性;所述情感状态包括:愤怒、厌恶、悲伤、喜悦、中立、惊讶和恐惧。

4.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述对话的上下文的语义和情感...

【技术特征摘要】

1.一种多模态融合的对话情感计算方法,其特征在于,包括:

2.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述使用所述情绪调节参数数据库对所述情绪调节策略模型进行训练,得到不同人物性格在不同的情感状态下情感表达的影响参数,包括:

3.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述认知评价相关因素包括性格,所述人物性格包括:外倾性、神经质、开放性、宜人性、尽责性;所述情感状态包括:愤怒、厌恶、悲伤、喜悦、中立、惊讶和恐惧。

4.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述对话的上下文的语义和情感信息,通过以下步骤得到:

5.根据权利要求1所述的多模态融合的对话情感计算方法,其特征在于,所述搭建基于声学特征和深度特征寻优融合的语音情感识别模型,包括:<...

【专利技术属性】
技术研发人员:张霞黄淋云翁亚滨
申请(专利权)人:莆田学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1