一种基于多模态大数据的互联网短视频情绪识别方法技术

技术编号:39964896 阅读:15 留言:0更新日期:2024-01-09 00:20
本发明专利技术涉及一种基于多模态大数据的互联网短视频情绪识别方法,包括:利用短视频中的文本、音频和视频帧信息进行情绪识别,具体包括将文本,音频,视频帧分别编码;使用动态自适应的多层双向LSTM网络融合模态信息;原始音频信息和原始文本信息进行模态间对比学习;原始音频信息和原始视频信息进行模态内部对比学习;原始音频信息、原始文本信息和原始视频信息进行局部与全局的对比学习;利用bert模型获得视频与音频的联合信息;对联合特征向量与文本特征向量采用双编码器进行联合编码,本发明专利技术通过动态自适应调整双向LSTM的层数来增强模型的特征表达能力,通过多角度下的对比学习增强特征的表达能力,从而提高了情绪识别任务的能力。

【技术实现步骤摘要】

本专利技术属于情绪识别领域,特别是涉及一种基于多模态大数据的互联网短视频情绪识别方法


技术介绍

1、随着科技和互联网的快速发展,情感分析或情绪识别在众多领域内已经变得至关重要。从商业应用的角度来看,例如客户反馈的情绪分析、品牌声誉管理到医疗健康中的心理健康监测,准确地识别和分析个体的情绪状态为我们提供了深入了解用户需求和提供个性化服务的可能性。

2、传统的情感分析技术主要基于文本数据,如用户评论、社交媒体帖子等。这些技术大多数是基于特定的关键字或短语进行分析,然后使用统计或机器学习方法来确定文本中的总体情绪。例如,基于卷积神经网络的textcnn、基于循环神经网络的bi-lstm、bi-lstm-attention模型以及预训练模型如bert等,都是目前文本情感分析的流行模型。

3、然而,仅仅依赖文本信息很难捕捉到情绪的全部细微差别。实际上,除了语言,人们在交流时还使用了大量的非语言信息,如面部表情、声音语调和身体语言等,这些都为情感分析提供了丰富的上下文信息。例如,相同的句子在不同的情境和语调下可能表示完全不同的情感。因此,为了本文档来自技高网...

【技术保护点】

1.一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,包括:

2.根据权利要求1所述的一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,所述利用特征提取模块对原始视频的原始文本、原始音频序列和原始视频序列进行特征提取包括:

3.根据权利要求1所述的一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,所述将原始文本特征向量、原始音频特征向量和原始视频特征向量输入动态自适应的多层双向LSTM网络编码模块进行编码包括:

4.根据权利要求3所述的一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,所述构建模态间对比学习损失函...

【技术特征摘要】

1.一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,包括:

2.根据权利要求1所述的一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,所述利用特征提取模块对原始视频的原始文本、原始音频序列和原始视频序列进行特征提取包括:

3.根据权利要求1所述的一种基于多模态大数据的互联网短视频情绪识别方法,其特征在于,所述将原始文本特征向量、原始音频特征向量和原始视频特征向量输入动态自适应的多层双向lstm网络编码模块进行编码包括:

4.根据权利要求3所述的一种基于多模态大数据的互联网短...

【专利技术属性】
技术研发人员:王进向严邓龙行刘彬吴思远
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1