一种多模态方面级情感分析方法技术

本发明专利技术涉及人工智能技术领域，提供一种多模态方面级情感分析方法。该方法包括：采集数据并对数据进行预处理，生成图片数据和文本数据对应的语法依赖树，并抽取数据的多模态特征；搭建方面词注意模块，并通过方面词注意模块获取与方面词相关的方面词语义信息，生成语义特征；根据多模态特征和语法依赖树构建第一卷积网络，并构建多模态权重关联矩阵，通过多模态权重关联矩阵对第一卷积网络迭代更新；引入语义特征对应的情感值，并使用第一卷积网络对带有情感值的语义特征进行训练，生成面向方面词的情感特征；根据语义特征和情感特征构建第二卷积网络，输入待识别数据并获取识别结果，该方法有效地提高了情感分析的准确度和效率。率。率。

【技术实现步骤摘要】
一种多模态方面级情感分析方法


[0001]本专利技术涉及人工智能
，尤其涉及一种多模态方面级情感分析方法。

技术介绍

[0002]随着互联网的发展，社交媒体平台成为人们发表言论和观点的主要阵地，高效地识别用户对重要组织、重要人物等方面的情感对平台治理用户的不当言论、建模用户偏好以实现精准的个性化推荐有重要的实用意义。同时也有助于监控消费者行为、评估产品质量、监控舆情、调研市场等。
[0003]多模态方面级情感分析通过分析用户发表的多模态帖子，识别用户描述的所有对象即方面词并推测它们对应的情感。在多模态细粒度情感分类场景中，用户帖子往往包含多个方面词且情感不一致，且输入的文本
‑
图像对往往是复杂的，增加了情感分析的难度。首先，句子的语义复杂增加了不同方面词情感的混淆。其次，图像包含大量的细节信息，但往往只与其中一个或几个方面词相关，对图像不恰当的关注容易误导最后的情感分类。考虑到多模态输入，现有的方法致力于关联图像和文本内容，主要采用的方法有：利用图文关系决定是否在情感分析中考虑图像的信息、对齐图像和文本的物体特征表示。
[0004]现有方法中首先未能对齐图片区域和相关的方面词，粗粒度的整张图片和方面词的对齐引入了与方面词不相关的图像噪音，其次，这些方法忽略了句子结构复杂时，不同方面词的观点描述相互干扰，文本噪音影响了最终的情感预测。

技术实现思路

[0005]本专利技术提供一种多模态方面级情感分析方法，旨在解决现有的图文粗粒度对齐和去除结构复杂引入的噪音，分别面向方面词的语义信息和情感信息检测，降低噪音提升准确率。
[0006]本专利技术提供一种多模态方面级情感分析方法，包括如下步骤：S100：采集带有用户情感倾向的方面词的数据并对所述数据进行预处理，生成所述数据对应的语法依赖树，并抽取预处理后的所述数据的多模态特征；S200：搭建用于对齐所述方面词的所述多模态特征的方面词注意模块，并通过所述方面词注意模块获取与所述方面词相关的方面词语义信息，生成语义特征；S300：根据所述多模态特征和所述语法依赖树构建第一卷积网络，并构建多模态权重关联矩阵，通过所述多模态权重关联矩阵对所述第一卷积网络迭代更新；S400：引入所述语义特征对应的情感值，并使用所述第一卷积网络对带有所述情感值的所述语义特征进行训练，生成面向所述方面词的情感特征；S500：根据面向所述方面词的所述语义特征和所述情感特征构建第二卷积网络，输入待识别数据并获取识别结果。
[0007]根据本专利技术提供的一种多模态方面级情感分析方法，步骤S100包括如下步骤：S110：采集带有用户情感倾向方面词的数据，所述数据包括图片数据和文本数据；
S120：对于所述文本数据包含的所有所述方面词判断抽取到的所述方面词对应的情感倾向，生成方面词情感对；S130：通过依赖树工具生成与所述文本数据对应的语法依赖树；S140：处理所述图片数据，生成与所述文本数据对应的图片索引；S150：将所述方面词情感对、所述语法依赖树和所述图片索引保存；S160：抽取预处理后的所述数据的多模态特征。
[0008]根据本专利技术提供的一种多模态方面级情感分析方法，步骤S160包括如下步骤：S161：对于所述文本数据进行序列分类处理，获取所述文本数据对应的单词嵌入式特征，并对应生成文本序列；S162：对于所述图片数据进行卷积训练，获取所述图片数据对应的区域特征，并对应生成图片序列；S163：通过线性层将所述区域特征的维度转为与所述单词嵌入式特征相同的维度；S164：将所述文本序列拼接在所述图片序列后，生成多模态序列；S165：将所述多模态序列进行编码处理，生成多模态特征。
[0009]根据本专利技术提供的一种多模态方面级情感分析方法，步骤S200中搭建用于对齐所述方面词的所述多模态特征的方面词注意模块包括如下步骤：S210：在文本数据中获取候选方面词，并生成候选方面词信息；S220：对所述候选方面词信息进行加权处理，生成与候选方面词信息对应的候选方面词语义信息；S230：对所述候选方面词语义信息进行动态加权处理，生成候选方面词语义特征；S240：对所述候选方面词语义特征进行分类预训练，生成所述方面词注意模块。
[0010]根据本专利技术提供的一种多模态方面级情感分析方法，步骤S210还包括，根据注意力机制对获取到的所述候选方面词进行加权处理。
[0011]根据本专利技术提供的一种多模态方面级情感分析方法，S300中所述构建多模态权重关联矩阵的过程包括如下步骤：S311：建立多模态布尔矩阵，所述多模态布尔矩阵包括文本文本部分、图片图片部分、文本图片部分和图片文本部分；S312：将所述文本文本部分中任意两文本存在联系的文本文本部分节点置为1；S313：将所述图片图片部分初始化为对角矩阵；S314：当任一文本图片部分或图片文本部分中的文本为所述候选方面词时，将该文本图片部分节点或图片文本部分节点置为1；S315：通过余弦相似度计算不同节点之间的关联强度，生成多模态权重关联矩阵。
[0012]根据本专利技术提供的一种多模态方面级情感分析方法，步骤S312中，根据所述语法依赖树小于等于两代内的文本数据，判断所述文本文本部分中两文本是否存在联系。
[0013]本专利技术提供的一种多模态方面级情感分析方法，通过将名词短语作为候选方面词引导注意的方法，多模态中考虑到不同的图片区域关联到不同的方面词，不同的文本描述观点关联到不同的方面词，且各类型信息之间关联程度不同的性质，聚焦于检测方面词对应的图文信息，削弱了与体现情感不相关的图片区域和文字描述的噪音，减少了对特定方
面词用于情感判断的干扰，有效地提高了情感分析的准确度和效率。
[0014]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0015]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术提供的一种多模态方面级情感分析方法的流程图。
具体实施方式
[0017]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。以下实施例用于说明本专利技术，但不能用来限制本专利技术的范围。
[0018]在本专利技术实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态方面级情感分析方法，其特征在于，包括如下步骤：S100：采集带有用户情感倾向的方面词的数据并对所述数据进行预处理，生成所述数据对应的语法依赖树，并抽取预处理后的所述数据的多模态特征；S200：搭建用于对齐所述方面词的所述多模态特征的方面词注意模块，并通过所述方面词注意模块获取与所述方面词相关的方面词语义信息，生成语义特征；S300：根据所述多模态特征和所述语法依赖树构建第一卷积网络，并构建多模态权重关联矩阵，通过所述多模态权重关联矩阵对所述第一卷积网络迭代更新；S400：引入所述语义特征对应的情感值，并使用所述第一卷积网络对带有所述情感值的所述语义特征进行训练，生成面向所述方面词的情感特征；S500：根据面向所述方面词的所述语义特征和所述情感特征构建第二卷积网络，输入待识别数据并获取识别结果。2.根据权利要求1所述的一种多模态方面级情感分析方法，其特征在于，步骤S100包括如下步骤：S110：采集带有用户情感倾向方面词的数据，所述数据包括图片数据和文本数据；S120：对于所述文本数据包含的所有所述方面词判断抽取到的所述方面词对应的情感倾向，生成方面词情感对；S130：通过依赖树工具生成与所述文本数据对应的语法依赖树；S140：处理所述图片数据，生成与所述文本数据对应的图片索引；S150：将所述方面词情感对、所述语法依赖树和所述图片索引保存；S160：抽取预处理后的所述数据的多模态特征。3.根据权利要求2所述的一种多模态方面级情感分析方法，其特征在于，步骤S160包括如下步骤：S161：对于所述文本数据进行序列分类处理，获取所述文本数据对应的单词嵌入式特征，并对应生成文本序列；S162：对于所述图片数据进行卷积训练，获取所述图片数据对应的区域特征，并对应生成图片序列；S163...

【专利技术属性】
技术研发人员：张莹，周如，郭文雅，袁晓洁，
申请(专利权)人：南开大学，
类型：发明
国别省市：