一种基于对比学习和方面增强的多模态情感分类方法技术

技术编号:40084231 阅读:33 留言:0更新日期:2024-01-23 15:12
本发明专利技术提出了一种基于对比学习和方面增强多模态情感分类方法。本发明专利技术首先输入文本,文本包含的特定方面和文本相关图像;接着分别利用BERT模型和Vision Transformer模型对文本和视觉模态进行表征;接着构建方面引导的多模态对比学习来实现模态对齐;接着,建立具有对称跨模态交互的面向方面的跨模态特征融合层来对两种模态进行有效融合;最后,构建多模态情感分类器进行情感分类。本发明专利技术解决面向方面的多模态情感分类问题,旨在捕捉方面增强的多模态信息来促进面向方面的多模态情感分类性能。

【技术实现步骤摘要】

本专利技术提供一种基于对比学习和方面增强的多模态情感分类方法,通过捕捉方面增强的多模态信息来促进面向方面的多模态情感分类性能,属于自然语言处理。


技术介绍

1、基于多模态方面的情感分析(mabsa)的目标是整合文本和图像信息,以准确识别句子中特定方面的情感极性。这项技术在社交媒体、医疗保健和教育等各个领域都有巨大的应用潜力。这项任务的关键挑战之一是有效地融合两种截然不同的模式——文本和图像——来分析各方面的情绪。在mabsa的许多下游应用中,精确匹配的图像-文本数据对通常很少。这是由于图像文本数据的互补性,这在两种模式之间存在显著的语义差距。因此,准确对齐文本和图像可能具有挑战性方面是缩小多模态语义差距、提高多模态表示能力的重要支点之一。基于方面的多模态融合旨在通过将方面表示作为跨模态语义支点来促进文本和图像之间的整体语义融合。如何促进网络学习更好的面向方面的多模态表示是mabsa最关键的问题之一。

2、最近的许多研究都试图通过采用几种面向方面的多模态融合策略来应对mabsa中视觉文本对齐的挑战,然而,这些工作大多倾向于通过直接将视觉、文本和方本文档来自技高网...

【技术保护点】

1.一种基于对比学习和方面增强的多模态情感分类方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述Step2的具体步骤如下:

3.如权利要求1所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述Step3的具体步骤如下:

4.如权利要求3所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述Step4的具体步骤如下:

5.如权利要求4所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述Step5的具体步骤如下:

...

【技术特征摘要】

1.一种基于对比学习和方面增强的多模态情感分类方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述step2的具体步骤如下:

3.如权利要求1所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述step3的具体步骤如下:

4.如权利要求3所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述step4的具体步骤如下:

5.如权利要求4所述的一种基于对比学习和方面增强的多模态情感分类方法,其特征在于:所述step5的具体步骤如下:

6.如权利要求3所述的...

【专利技术属性】
技术研发人员:郭军军闫自达
申请(专利权)人:昆明理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1