一种基于神经网络的多模态情感分类方法技术

一种基于神经网络的多模态情感分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，本发明专利技术为了解决传统的情感分类方法大多针对单一类型的数据，并不能处理社交网络坏境下多模态的混合信息的问题，它包括提取待预测情感图片中的多模态数据；提取多模态数据中各单模态的原始向量；根据各模态的原始向量计算各模态的指导向量；获得各模态的重构特征向量；利用注意力机制对得到的各模态的重构特征向量进行加权平均，生成融合特征向量；将得到的融合特征向量输入至情感分类模型中，输出分类结果。本发明专利技术用于对社交网络坏境下多模态的混合信息进行情感分类，属于自然语言处领域。言处领域。言处领域。

【技术实现步骤摘要】
一种基于神经网络的多模态情感分类方法


[0001]本专利技术涉及一种神经网络模型的分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，属于自然语言处理领域。

技术介绍

[0002]社交网络用户在社交网络平台上发布着大量的多源、异构的混合信息。信息是用户表达情感、行为交互的主要载体和手段，精确的描述和表示信息是提取社交网络中多模态的混合信息所蕴含的情感标签的基础，为进行用户情感分类与情感传播模型研究提供基础支撑。由于人们在社交网络空间上的行为是其在现实社会中的行为的映射，分类信息中隐藏的观点和情感蕴含着巨大的学术价值和应用价值。在时代信息爆炸的背景下，用户生成的信息规模巨大、类型多样、结构不一，如何从这些信息中提取出隐藏的具有重要价值的观点及情感面临着巨大的挑战。
[0003]在社交网络上，混合信息之间存在着由于的交互产生的各种关系，同时也存在着语义上的关联。传统的情感分类方法大多数针对单一类型的数据，如文本或图片或者视频，并不能处理社交网络坏境下多模态的混合信息的情形。除此之外，传统方法还假设上述信息是独立分布的，它们之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的多模态情感分类方法，其特征在于：它包括以下步骤：S1、提取待预测情感图片中的多模态数据，多模态数据包括图片模态、图片对应的标签词模态和文本模态；S2、分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量；S3、根据S2得到的各模态的原始向量分别计算各模态的指导向量；S4、分别对S3中得到的各模态的指导向量进行表征混合，获得各模态的重构特征向量；S5、利用注意力机制对S4中得到的各模态的重构特征向量进行加权平均，生成融合特征向量；S6、将S5中得到的融合特征向量输入至情感分类模型中，输出分类结果。2.根据权利要求1中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述S1中，提取待预测情感图片中的图片模态、图片对应的标签词模态和文本模态的方法包括：利用图像训练集对ResNet 101模型进行训练，训练完成后的ResNet 101模型作为标签词预测器，将待预测情感图片输入标签词预测器内，并提取待预测情感图片的标签词，得到图片模态、图片对应的标签词模态和文本模态。3.根据权利要求2中所述的一种基于神经网络的多模态情感分类方法，其特征在于：图像训练集的输入集是图片，输出集是每张待预测情感图片的标签词。4.根据权利要求1中所述的一种基于神经网络的多模态情感分类方法，其特征在于：所述S2中，分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量的方法为：利用ResNet 50 V2模型提取图片模态的原始向量V2模型提取图片模态的原始向量I
i
表示图片上任意一个区域，i＝1、2、
…
N
r
；利用Bert模型提取图片对应的标签词模态的原始向量e(a
f
)e(a
f
)＝Bert(a
f
)
ꢀꢀꢀꢀ
公式2a
f
表示任意一个标签词，f＝1、2、
…
N
a
；利用Bert模型提取文本模态的原始向量r(t
h
)r(t
h
)＝Bert(t
h
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3t
h
表示任意一条文本信息，h＝1,2
…
L。5.根据权利要求4中所述的一种基于神经网络的多...

【专利技术属性】
技术研发人员：王红滨，邢浩，王勇，周连科，何鸣，王念滨，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：