联合多模态循环互补注意力方面级情感分析方法及装置制造方法及图纸

技术编号:41319653 阅读:19 留言:0更新日期:2024-05-13 14:59
本发明专利技术联合多模态循环互补注意力方面级情感分析方法及装置,该方法包括:对于输入文本进行令牌化,进行文本表征抽取,得到文本表征;提取输入图像特征,将图像特征投影到匹配文本表征维度,得到视觉表征;进行高亮化处理,得到文本高亮的视觉表征;进行多模态方面词抽取任务MATE,预测得到方面位置,从而抽取出方面词;根据方面位置,截断文本表征,得到方面文本表征,随后通过多模态方面情感分类任务MASC,得到各个方面词的情感分类结果。该装置包括文本表征抽取、视觉表征抽取、视觉表征高亮、方面词抽取和方面词情感分类五个模块。本发明专利技术能够减少视觉噪声并进行模态信息互补,同时关注方面词提取和相关方面极性分类的多模态方面级情感分析。

【技术实现步骤摘要】

本专利技术属于电子信息,具体涉及一种联合多模态循环互补注意力方面级情感分析方法及装置


技术介绍

1、随着朋友圈和各类社交媒体网络的广泛普及,每天涌现出大量关于特定事件或产品的评论,这些评论往往包含丰富的多媒体元素,如图像和文字。通过对这些评论中所蕴含的情感信息进行深入分析,能够快速而准确地检测出异常或负面的言论,为调研人员提供及时了解反馈的有力工具。在这个过程中,情感分析的应用发挥了关键作用。通过分析评论中的文字和图像,能够更全面地理解用户对特定事件或产品的态度和情感倾向。朋友圈和社交媒体上的方面级情感分析进一步提升了对于相同产品或事件的不同属性所涵盖情感的细致分析。这种精细化的情感分析为异常评论的检测提供了更为可靠的保障,有助于识别潜在问题并采取相应措施。通过细致入微地分析每个属性的情感倾向,能够更全面地了解社交媒体上用户对于特定方面的态度,从而更有针对性地处理潜在的问题或挑战。这种情感分析的应用不仅有助于监测用户对产品或事件的整体感受,还为制定精准的反馈和改进策略提供了重要的信息支持。总体而言,社交媒体上的情感分析为企业和组织提供了更深层次的洞察,使本文档来自技高网...

【技术保护点】

1.联合多模态循环互补注意力方面级情感分析方法,其特征在于,包括以下步骤:

2.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤1中,使用wordpiece算法对于输入文本进行文本令牌化,BERT预训练模型选择BERT-base。

3.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤2中,使用152层的ResNet进行图像特征抽取,并使用多层线性神经网络投影抽取结果以匹配文本表征维度。

4.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤3...

【技术特征摘要】

1.联合多模态循环互补注意力方面级情感分析方法,其特征在于,包括以下步骤:

2.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤1中,使用wordpiece算法对于输入文本进行文本令牌化,bert预训练模型选择bert-base。

3.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤2中,使用152层的resnet进行图像特征抽取,并使用多层线性神经网络投影抽取结果以匹配文本表征维度。

4.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤3中,使用跨模态注意力ca进行文本高亮,令文本表征作为查询,视觉表征作为键、值。

5.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤4中多模态方面词抽取的方法采用多模态循环注意力模块cira,用于对文本表征、视觉表征和文本高亮的视觉表征进行闭环注意间融合,包括步骤:

6.根据权利要求1中所述的联合多模态循环互补注意力方面级情感分析方法,其特征在于,所述步骤5...

【专利技术属性】
技术研发人员:贺丽君刘昊梁嘉熹李凡
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1