【技术实现步骤摘要】
一种融合多特征和注意力机制的多模态情感分析方法
[0001]本专利技术涉及多模态情感分析方法，特别涉及丰富的多模态特征的获取和多模态特征的融合。
技术介绍
[0002]随着社会的不断进步、网络的迅速普及和社交媒体的爆炸式发展，人们表达观点和看法的途径大大拓宽，越来越多的人热衷于在社交媒体、短视频平台上表达自己的看法或观点。因此，在社交媒体、短视频平台上存在海量由用户发布的观点评论、日常分享等数据，其中大量数据是以文本、音频、视频等多种形式联合出现的。这些多模态数据蕴含着丰富的情感信息，对其进行深度挖掘，有助于产品优化、舆情监测、风险管理等应用的研究，具有较大的应用价值。
[0003]近年来，研究者在多模态情感分析领域进行了探索研究。多模态数据中各种模态之间往往存在异构性，为了利用异构数据的互补性，研究者提出了多种融合机制对不同模态数据进行特征融合和信息交互。早期关于多模态融合的研究是基于核模型和图形模型的，如多核学习和动态贝叶斯网络。近年来，深度学习模型的研究取得了很大的进展，基于深度学习的神经网络成为了多模态融合研...
【技术保护点】
【技术特征摘要】
1.本发明的一种融合多特征和注意力机制的多模态情感分析方法，其特征在于，包括以下步骤：通过多模态特征提取模块获得文本、视频、语音各模态丰富的低层特征；通过自注意力机制实现对三种模态内部信息的提取，获得对应的高层特征；通过跨模态注意力机制分别实现音频
‑
文本和视频
‑
文本的交互，在空间上实现模态间信息的交互；将学习到的模态内部信息和模态间交互信息进行拼接，得到更加丰富的音频和视频融合特征；最后拼接三种模态的最终表示并传入一个软注意力模块，为三种模态分配不同的权重，通过全连接层实现多模态情感分类结果；根据训练数据训练模型并更新参数，然后在测试集上并进行测试。2.如权利要求1所述的一种融合多特征和注意力机制的多模态情感分析方法，其特征在于：对SIMS公开数据集进行多模态特征提取，对于音频模态，通过LibROSA语音工具包提取声学特征作为低层音频特征；对于文本模态，通过预训练的中文BRET
‑
base提取文本字级向量表示，融合义原外部知识的SAT提取词级向量表示作为低层文本特征；对于视频模态，通过OpenFace...
【专利技术属性】
技术研发人员：吕学强，张乐，滕尚志，韩晶，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。