【技术实现步骤摘要】
本专利技术涉及情感分析，更具体的说，它涉及一种基于多模态资源的情感分析方法。
技术介绍
1、目前多模态情感分析现有的方法仅侧重于单一的模式，无法捕捉到多种模式的社交媒体内容。并且在多模态学习中，大多数工作都集中在简单地将这两种模式结合起来，而没有探讨它们之间复杂的相互关系，这导致了多模态情感分类性能达不到不满意的效果。文本模态在情感分析中占主导地位，因此使方面术语准确的关注到正确的意见词所表达的信息尤其重要。合理利用图像信息可以提升情感分析的性能，但图像中包含的噪声信息可能会导致错误的情感判断，因此需要提取图像中与方面词相关的信息，从而减轻噪声信息对情感分析的影响以提高任务的性能，对于细粒度多模态情感分析任务，现有的方法未能从多模态数据中充分提取与方面词相关的情感信息。在本专利技术中将语法信息引入到文本特征中以构建方面术语与意见词之间的关系，并提取图像中的细粒度信息构建出与完整场景信息以获取与方面词相关的图像信息，此外，现有方法中首先未能对齐图片区域和相关的方面词，粗粒度的整张图片和方面词的对齐引入了与方面词不相关的图像噪音，其次，这些方法忽略了句子结构复杂时，不同方面词的观点描述相互干扰，文本噪音影响了最终的情感预测。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术中存在的问题，本专利技术提供了一种基于多模态资源的情感分析方法，以解决
技术介绍
中提到的技术问题。
3、(二)技术方案
4、为实现上述目的，本专利技术提供如下技术方案：一种基
5、步骤一：采集带有用户情感倾向的方面词的数据并对所述数据进行预处理，生成所述数据对应的语法依赖树，并抽取预处理后的所述数据的多模态特征，基于多头注意力机制，从预处理后的多模态社交媒体图文数据中提取文本情感特征，获取多模态原始数据，并将所述多模态原始数据进行特征提取，得到多模态特征；
6、步骤二：对所述多模态特征进行融合得到多模态融合特征，以及进行模态的生成得到多模态生成特征；对所述多模态特征与所述多模态生成特征以及所述多模态融合特征进行融合得到混合特征；将所述多模态生成特征与所述多模态特征进行互注意力对齐处理，得到强化单模态特征，生成训练集，选取至少3000条多模态数据，提取每条多模态数据中文本模态的语法解析树，通过语法解析树构建文本邻接矩阵；将多模态数据中的图像均匀分割为16×16个图像块；将所有的多模态数据、文本邻接矩阵、图像块和真实情感标签组成训练集；
7、步骤三：构建方面级多模态情感分析网络,选取由两个独立包含5129个由一个注释器表示的图像-文本组成的数据集构成多视图情感分析数据集,将数据集输入深度多层次关注网络dmlanet中进行训练；
8、步骤四：搭建用于对齐所述方面词的所述多模态特征的方面词注意模块，并通过所述方面词注意模块获取与所述方面词相关的方面词语义信息，生成语义特征，根据所述多模态特征和所述语法依赖树构建第一卷积网络，并构建多模态权重关联矩阵，通过所述多模态权重关联矩阵对所述第一卷积网络迭代更新；
9、步骤五：引入所述语义特征对应的情感值，并使用所述第一卷积网络对带有所述情感值的所述语义特征进行训练，生成面向所述方面词的情感特征，根据面向所述方面词的所述语义特征和所述情感特征构建第二卷积网络，输入待识别数据并获取识别结果，根据提取出来的文本情感特征和图像情感特征，进行情感分类和图文情感倾向的相关性分析。
10、本专利技术进一步设置为，所述的预处理操作具体包括以下步骤：给予每组图文数据三个注释标记，遵循采用含有两个及以上相同标记的原则，去除少量无法辨别的数据项带来的干扰；对于同一组图文数据，将具有完全对立的标记排除，具有消极-中性的数据标记为消极，将具有积极-中性的数据标记为积极。
11、本专利技术进一步设置为，所述步骤三中构建由文本特征提取模块、文本图卷积模块、方面文本特征聚合模块串联组成的文本模态处理子网络，该子网络的输出向量维度为768；所述文本特征提取模块采用bert网络结构，所述文本图卷积模块由图卷积神经网络构成，该图卷积神经网络共有3层，所述方面文本特征聚合模块由1层平均池化实现。
12、本专利技术进一步设置为，所述通过语法解析树构建文本邻接矩阵指的是，利用依赖分析器获取依赖弧的概率矩阵，将相关联的词联系起来，便于方面词关注到正确的意见词所表达的信息，以捕获丰富的情感信息。
13、本专利技术进一步设置为，所述网络训练中，通过在空间维度和通道维度上依次生成双注意力地图。
14、本专利技术进一步设置为，所述网络训练中，分别应用全局平均池和最大平均池特征映射生成平均特征和最大平均池特征映射生成平均特征和最大集合特征，将每个特征传递给一个包含一个隐藏层的多层感知器网络，再加上relu激活函数，再将这些元素连在一起得到最终的注意图。
15、本专利技术进一步设置为，所述的多模态数据由文本、图像和方面词组成。
16、本专利技术进一步设置为，所述步骤四的具体操作包括以下步骤：使用bert模型，为图文数据中的每个单词，以及每个单词基于句子中的其他单词分别生成一个词向量；所述词向量由三个向量相加组合而成，分别是单词向量，单词在句子中所属位置的向量以及句子在单个文本中所属位置的向量。
17、本专利技术进一步设置为，将单词向量，单词在句子中所属位置的向量以及句子在单个文本中所属位置的向量对应至encoder模型的三个线性层query_layer、key_layer和value_layer。
18、(三)有益效果
19、与现有技术相比，本专利技术提供了一种基于多模态资源的情感分析方法，具备以下有益效果：
20、本专利技术通过将名词短语作为候选方面词引导注意的方法，多模态中考虑到不同的图片区域关联到不同的方面词，不同的文本描述观点关联到不同的方面词，且各类型信息之间关联程度不同的性质，聚焦于检测方面词对应的图文信息，削弱了与体现情感不相关的图片区域和文字描述的噪音，减少了对特定方面词用于情感判断的干扰，有效地提高了情感分析的准确度和效率，此外，在进行情感分析时，除了对情感进行分类以外还进行了图文情感倾向相关度的计算，将文本情感特征和图像情感特征进行做差处理，得到文本-图像特征和图像-文本特征；使用concate将文本情感特征、图像情感特征、文本-图像情感特征、图像-文本情感特征进行拼接，得到一个新的融合特征，此外，将图像分割为图像块并提取每一个图像块的细粒度特征，并利用注意力机制将文本模态和图像模态进行特征融合，最后聚合相关联的融合特征，克服了现有技术无法准确提取图像中与方面词相关的情感信息的问题，使得本专利技术减少图像模态中噪声的影响，通过本专利技术构建的方面级多模态情感分析网络能够准确提取图像模态中与方面词相关的情感特征。
本文档来自技高网...【技术保护点】
1.一种基于多模态资源的情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：所述的预处理操作具体包括以下步骤：给予每组图文数据三个注释标记，遵循采用含有两个及以上相同标记的原则，去除少量无法辨别的数据项带来的干扰；对于同一组图文数据，将具有完全对立的标记排除，具有消积-中性的数据标记为消极，将具有积极-中性的数据标记为积极。
3.根据权利要求2所述的一种基于多模态资源的情感分析方法，其特征是：所述步骤三中构建由文本特征提取模块、文本图卷积模块、方面文本特征聚合模块串联组成的文本模态处理子网络，该子网络的输出向量维度为768；所述文本特征提取模块采用BERT网络结构，所述文本图卷积模块由图卷积神经网络构成，该图卷积神经网络共有3层，所述方面文本特征聚合模块由1层平均池化实现。
4.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：所述通过语法解析树构建文本邻接矩阵指的是，利用依赖分析器获取依赖弧的概率矩阵，将相关联的词联系起来，便于方面词关注到正确的意见词所表达的信息，以捕获
5.根据权利要求4所述的一种基于多模态资源的情感分析方法，其特征是：所述网络训练中，通过在空间维度和通道维度上依次生成双注意力地图。
6.根据权利要求1-5任意一项权利要求所述的一种基于多模态资源的情感分析方法，其特征是：所述网络训练中，分别应用全局平均池和最大平均池特征映射生成平均特征和最大平均池特征映射生成平均特征和最大集合特征，将每个特征传递给一个包含一个隐藏层的多层感知器网络，再加上relu激活函数，再将这些元素连在一起得到最终的注意图。
7.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：所述的多模态数据由文本、图像和方面词组成。
8.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：所述步骤四的具体操作包括以下步骤：使用BERT模型，为图文数据中的每个单词，以及每个单词基于句子中的其他单词分别生成一个词向量；所述词向量由三个向量相加组合而成，分别是单词向量，单词在句子中所属位置的向量以及句子在单个文本中所属位置的向量。
9.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：将单词向量，单词在句子中所属位置的向量以及句子在单个文本中所属位置的向量对应至Encoder模型的三个线性层query_l ayer、key_l ayer和va lue_l ayer。
...【技术特征摘要】
1.一种基于多模态资源的情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：所述的预处理操作具体包括以下步骤：给予每组图文数据三个注释标记，遵循采用含有两个及以上相同标记的原则，去除少量无法辨别的数据项带来的干扰；对于同一组图文数据，将具有完全对立的标记排除，具有消积-中性的数据标记为消极，将具有积极-中性的数据标记为积极。
3.根据权利要求2所述的一种基于多模态资源的情感分析方法，其特征是：所述步骤三中构建由文本特征提取模块、文本图卷积模块、方面文本特征聚合模块串联组成的文本模态处理子网络，该子网络的输出向量维度为768；所述文本特征提取模块采用bert网络结构，所述文本图卷积模块由图卷积神经网络构成，该图卷积神经网络共有3层，所述方面文本特征聚合模块由1层平均池化实现。
4.根据权利要求1所述的一种基于多模态资源的情感分析方法，其特征是：所述通过语法解析树构建文本邻接矩阵指的是，利用依赖分析器获取依赖弧的概率矩阵，将相关联的词联系起来，便于方面词关注到正确的意见词所表达的信息，以捕获丰富的情感信息。
5.根据权利要求4所述的一种基于多模态资源的情感分析方法，其特征是：所述网络...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。