【技术实现步骤摘要】
本专利技术涉及对话信息分析，尤其涉及一种基于联邦多模态全局扩散模型的情绪识别方法、系统、终端及计算机可读存储介质。
技术介绍
1、近年来，随着人工智能的发展与大数据时代的到来，情绪识别在情感计算中已经成为一个新兴的活跃领域。其中，多模态情绪识别（multimodal emotion recognition inconversations，merc）通过文本、声学和视觉信号等多模态信号的协同融合来对人的情绪进行准确的识别。
2、然而，在现实场景中，由于传感器故障、环境噪声或隐私限制等原因导致的模态缺失，传统merc方法的情绪识别效果会大大降低。
3、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于提供一种基于联邦多模态全局扩散模型的情绪识别方法、系统、终端及计算机可读存储介质，旨在解决现有技术中模态的不可预测的缺失会显著降低模型性能，从而导致情绪识别结果不准确的问题。
2、为实现上述目的，本专利技术提供一种基于联邦多模态全局扩...
【技术保护点】
1.一种基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述基于联邦多模态全局扩散模型的情绪识别方法包括：
2.根据权利要求1所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述获取目标对话，将所述目标对话输入对话扩散模型，输出说话人图和时序依赖图，并利用图卷积网络对所述说话人图和所述时序依赖图进行节点融合，得到拼接特征，具体包括：
3.根据权利要求1所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述确定所述目标对话中的所有可用模态的情绪信息，根据所有所述情绪信息生成多个语义表示，将多个所述语义表示与多个所述可用...
【技术特征摘要】
1.一种基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述基于联邦多模态全局扩散模型的情绪识别方法包括：
2.根据权利要求1所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述获取目标对话，将所述目标对话输入对话扩散模型，输出说话人图和时序依赖图，并利用图卷积网络对所述说话人图和所述时序依赖图进行节点融合，得到拼接特征，具体包括：
3.根据权利要求1所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述确定所述目标对话中的所有可用模态的情绪信息，根据所有所述情绪信息生成多个语义表示，将多个所述语义表示与多个所述可用模态后进行拼接处理，得到融合表征，具体包括：
4.根据权利要求3所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述确定所述目标对话中的所有可用模态的情绪信息，根据所有所述情绪信息生成多个语义表示，之后还包括：
5.根据权利要求1所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述将所述拼接特征和所述融合表征进行融合后投影到条件嵌入空间，得到融合条件，将所述融合条件输入噪声预测网络进行融合处理后，输出条件预测噪声，并根据所述条件预测噪声构建噪声损失函数，具体包括：
6.根据权利要求1所述的基于联邦多模态全局扩散模型的情绪识别方法，其特征在于，所述根据所述噪...
【专利技术属性】
技术研发人员：邱夕航，李春，周庆，方宇浩，田玉斌，张晔，布达克·鲍里斯·亚历山德罗维奇，翟斌，洪嘉隆，
申请(专利权)人：深圳北理莫斯科大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。