用于缓解语义冲突的分层多模态融合方法和装置制造方法及图纸

一种用于缓解语义冲突的分层多模态融合方法和装置，其方法包含：分层注意力将自注意力机制、交叉注意力机制以及多尺度卷积机制相结合，使模型能够交互集成来自其他剩余模态的语义一致性特征，并将空间信息与语义一致信息联系起来。此外还提出了超注意力网络对初步融合特征进行优化，巩固主模态核心语义特征，并保留一定的特有信息，从而缓解了语义冲突，保证获得更加连贯的多模态融合特征表示。从而提高检测器性能。

【技术实现步骤摘要】

本专利技术涉及情感分析，具体涉及一种用于语义冲突缓解的分层多模态融合方法和装置。

技术介绍

1、情感是人类内在状态的表达，是人类理解自我与他人的重要桥梁。多模态情感分析是结合多种方面综合判断人类的情感，在商业、医疗及教育领域有广泛应用。随着深度学习的快速发展，基于深度学习的多模态情感分析系统可以自动检测人类的情感类别以及情感强度。

2、随着深度学习的快速发展，基于多模态融合的情感分析方法已经取得了突破性进步，但是由于不同模态之间语义冲突，不同模态之间的特征分布不均匀，特征融合时存在模态特异性特征的丢失，现有的技术对多模态融合的效果不尽如人意。

技术实现思路

1、为解决上述技术问题，本专利技术提供了一种用于缓解语义冲突的分层多模态融合方法和装置，能够有效缓解不同模态之间语义冲突的问题，并提供分层逐步融合方法处理模态特异性特征丢失问题，实现更精确的情感检测。

2、为了实现上述目的，本专利技术提供的技术方案为：

3、一种用于缓解语义冲突的分层多模态融合方法，包含以下步骤：

本文档来自技高网...

【技术保护点】

1.一种用于缓解语义冲突的分层多模态融合方法，包含以下步骤：

2.根据权利要求1所述的一种用于缓解语义冲突的分层多模态融合方法，所述步骤1具体包括：

3.根据权利要求1所述的一种用于缓解语义冲突的分层多模态融合方法，所述步骤2具体包括：

4.根据权利要求1所述的用于缓解语义冲突的分层多模态融合方法，所述步骤3具体包括：

5.根据权利要求1所述的一种用于缓解语义冲突的分层多模态融合方法，所述步骤4具体包括：

6.一种用于缓解语义冲突的分层多模态融合装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一...

【技术特征摘要】

1.一种用于缓解语义冲突的分层多模态融合方法，包含以下步骤：

2.根据权利要求1所述的一种用于缓解语义冲突的分层多模态融合方法，所述步骤1具体包括：

3.根据权利要求1所述的一种用于缓解语义冲突的分层多模态融合方法，所述步骤2具体包括：

4.根据权利要求1所述的用于缓解语义冲突的分层多模态融合方法，所述步骤3具体包括...

【专利技术属性】
技术研发人员：高楠，陶赛宇，张怡龙，陈朋，孙国道，杨良怀，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：