一种基于情感引导的跨模态视频情感分析方法技术

一种基于情感引导的跨模态视频情感分析方法，涉及自然语言处理。围绕如何应对跨模态原始数据中的情感信息淡化问题，提出基于增强文本embedding的情感引导机制和基于提示学习Prompt的情感引导机制。根据一个预定义好的情感词典匹配出源数据中的情感内容。基于增强文本embedding的情感引导机制通过对文本模态情感内容的注意力权重进行一定的干预。基于提示学习情感引导机制引入一个带有情感槽位的提示Prompt模版，通过情感预测的辅助任务增加模型对情感信息的学习能力和关注力度。该情感引导机制能达到甚至超越目前主流模型水平，且具有泛化到主流模型上的能力。几种情感引导机制的消融实验结果证明各自的有效性。的消融实验结果证明各自的有效性。的消融实验结果证明各自的有效性。

【技术实现步骤摘要】
一种基于情感引导的跨模态视频情感分析方法


[0001]本专利技术属于自然语言处理领域，尤其是涉及一种基于情感引导的跨模态视频情感分析方法，通过引入情感引导机制来改善视频情感分析任务中的情感淡化问题。

技术介绍

[0002]情感分析技术最早指的是文本情感分析，该技术涉及文本挖掘、计算机语言学和自然语言处理等领域，旨在对文本进行信息抽取和归纳推理，从而判断文本中的主观情感极性。在情感分析的相关任务中，最常见的一类是判断人的情感倾向性，简单的情感倾向如正向、负向和中性情感，也有较为复杂的倾向，比如“喜”、“怒”、“哀”、“乐”等具体情感。
[0003]随着互联网和社交媒体的发展，越来越多用户喜欢结合图片、视频等非文本内容一起表达个人的情感，因此在文本情感分析的基础上进行跨模态情感分析的相关研究，引起了越来越多学者的关注。尤其是近年来，短视频在各个年龄段的人群中都得到广泛的流行，对视频的情感倾向性进行分析也成为一种流行的趋势。因此，跨模态视频情感分析技术将传统文本情感分析的相关应用扩展到了更大的平台。
[0004]视频数据中除了文本内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于情感引导的跨模态视频情感分析方法，其特征在于包括以下步骤：a、引入预定义好的情感词字典；b、提取模态浅层特征；c、将模态浅层特征输入带有情感引导机制的跨模态多流Transformer模型或跨模态单流Transformer模型中，得到情感分析结果。2.如权利要求1所述一种基于情感引导的跨模态视频情感分析方法，其特征在于在步骤a中，所述情感词字典用于匹配出情感的位置，增强情感信息对应位置的特征在情感分析中的影响；对于每个视频片段给定的文本输入，首先利用情感词字典，匹配出文本序列中的情感词，然后用一组与文本长度相同的布尔值来记录文本序列中的每个词是否表示情感内容，并把情感部分的布尔值标记为1。3.如权利要求1所述一种基于情感引导的跨模态视频情感分析方法，其特征在于在步...

【专利技术属性】
技术研发人员：王鑫，林达真，周艺涵，曹冬林，
申请(专利权)人：厦门大学，
类型：发明
国别省市：