一种多模态方面级情感分析方法技术

本发明专利技术公开了一种多模态方面级情感分析方法

【技术实现步骤摘要】
一种多模态方面级情感分析方法、装置、设备及存储介质


[0001]本专利技术涉及情感分析
，尤其涉及一种多模态方面级情感分析方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]情感分析，又称观点挖掘
(Opinion Mining)
，旨在确定说话者
、
作者或其他主体对象对于某个主题
、
文档或事件的观点和态度
。
情感分析的应用涉及到方方面面，其领域非常广阔，无论是在工业界
、
学术界还是日常生活中都有情感分析的存在
。
目前情感分析的相关研究在单模态领域已经较为成熟，其中在文本
、
图像和语音这三种模态中的应用最为广泛，产生了很多令人印象深刻的研究成果
。
[0003]然而，单模态的情感表达能力是有限的，并不足以鉴别复杂的情感，还可能产生歧义
。
同时，越来越多的人们通过社交媒体分享日常
、
表达观点和情绪，使人与人之间建立了更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态方面级情感分析方法，其特征在于，包括：获取多模态输入数据；所述多模态输入数据包括输入句子和输入图像；将所述输入图像输入预训练转换模型，输出所述输入图像的图像字幕；生成所述输入句子的上下文文本表示和所述图像字幕的上下文图像字幕描述表示；基于注意力机制，采用所述上下文文本表示和所述上下文图像字幕描述表示生成语义信息；采用所述语义信息构建句法掩码矩阵；对所述句法掩码矩阵进行图卷积运算，得到方面词表示；所述方面词表示包括文本表示和图像表示；对所述文本表示和图像表示进行交互预测，得到所述多模态输入数据的情感分类
。2.
根据权利要求1所述的方法，其特征在于，所述预训练转换模型的训练过程包括：获取图像训练数据集；所述图像训练数据集中包括若干个图像
‑
文本对；将所述图像数据集划分为
M
个第一子数据集；采用所述第一子数据集训练初始转换模型；计算各所述图像
‑
文本对的第一难度得分；根据所述难度得分计算各所述图像
‑
文本对在所述第一子数据集的第二难度得分；根据所述第二难度得分对所述图像
‑
文本对进行排序，得到第一序列；将所述第一序列划分为若干个第二子数据集；按照预设阶段数从每个所述子数据集中提取样本数据，生成各预设阶段的样本数据集；采用所述样本数据集训练所述初始转换模型，得到预训练转换模型
。3.
根据权利要求1所述的方法，其特征在于，所述基于注意力机制，采用所述上下文文本表示和所述上下文图像字幕描述表示生成语义信息的步骤，包括：获取所述上下文文本表示的第一权重；获取所述上下文图像字幕描述表示的第二权重；采用所述上下文文本表示
、
所述上下文图像字幕描述表示
、
所述第一权重和所述第二权重计算方面感知注意力分数和自我注意力分数；计算所述方面感知注意力分数和所述自我注意力分数的加和，得到所述多模态输入数据的语义信息
。4.
根据权利要求1所述的方法，其特征在于，所述采用所述语义信息构建句法掩码矩阵的步骤，包括：获取所述语义信息中各单词间的距离；根据所述距离生成带阈值的句法掩码矩阵；采用所述带阈值的句法掩码矩阵和所述语义信息构建句法掩码矩阵
。5.
一种多模态方面级情感分析装置，其特征在于，包括：多模态输入数据获取模块，用于获取多模态输入数据；所述多模态输入数据包括输入句子和输入图像；图像字幕输出模块，用于将所述输入图像输入预训练转换模型，输出所述输入图像的图像字幕；
上下文表示生成模块，用于生成所述输入句子的上下文文本表示和所述图像字幕的上下文图像字幕描述表示；语义信息生成模块，用于基于注意力机制，采用所述上下文文本表示和所述上下文图像字幕描述表示生成语义信息；句法掩码矩阵构建模块，用于采用所述语义...

【专利技术属性】
技术研发人员：曾碧卿，谢梁琦，钟广彬，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：