用于多模态多标签情感分析的互补和竞争平衡学习方法技术

本发明专利技术公开了一种用于多模态多标签情感分析的互补和竞争平衡学习方法，属于人工智能领域。针对现有多模态情感分析中互补与特异信息利用失衡、标签相关性建模不足及样本不均衡问题，该方法首先通过级联Transformer编码器和混合专家网络优化256维特征；随后采用双分支结构：互补分支层级融合多模态特征生成标签级互补特征，特异分支基于动态权重矩阵重构模态特异特征，并通过情感权重向量融合两类特征；最后采用纵横平衡损失函数，利用调制因子和动态平衡因子自适应调整损失权重。其优势在于协同利用多模态信息、强化标签关系建模并显著提升低频情感识别效果。

【技术实现步骤摘要】

本专利技术涉及人工智能领域，具体涉及一种用于多模态多标签情感分析的互补和竞争平衡学习方法。

技术介绍

1、多模态多标签情感分析模仿人类的预测能力，结合了生物特征和行为特征。与单模态情感识别不同，多模态情感识别需要同时处理多个数据源。而目前基于transformer框架的模型是主流技术，通过transformer框架完成对数据源的处理，并进行情感预测。同时现有的模型大多采用了对标签相关性建模的技术，用于得到更好的预测效果。在使用transformer作为主体框架的基础性上，现有的技术也采取了将其他网络框架(如对抗学习网络)融入模型的思路。现有具体技术：

2、1．hhmpn(multi-modal multi-label emotion recognition withheterogeneous hierarchical message passing)：利用图信息传递技术同时建模特征到标签、标签到标签和模态到标签的依赖关系，提升了多模态信息的整合能力，进而提升情感分析效果。

3、2．tailor(tailor versatile mu本文档来自技高网...

【技术保护点】

1.一种用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，所述S1具体包括如下步骤：

3.根据权利要求1所述的用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，所述S2中双分支处理包括互补分支处理和特异分支处理。

4.根据权利要求3所述的用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，所述互补分支处理具体包括如下步骤：

5.根据权利要求3所述的用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于...

【技术特征摘要】

1.一种用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，所述s1具体包括如下步骤：

3.根据权利要求1所述的用于多模态多标签情感分析的互补和竞争平衡学习方法，其特征在于，所述s2中双分支处理包括互补分支处理和特异分支处理。

4.根...

【专利技术属性】
技术研发人员：王婷，刘晓宇，张潇文，郜东瑞，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：