【技术实现步骤摘要】
本专利技术涉及基于模态融合图卷积网络的图像联合文本情感分析方法，属于图像与文本处理。
技术介绍
1、情感分析任务拥有着多样化的应用场景和潜在价值，过去已有许多基于文本数据的情感分析技术，可以分为基于情感词典的传统方法和基于深度学习的方法。传统方法由于无法很好的处理上下文之间的联系，效果通常不佳。深度网络有着很好的学习能力，但数据质量会对其最终呈现的效果起到决定性的作用，仅仅依赖单模态的数据往往难以达到令人满意的预测效果。由于社交媒体中的图像和对应文本描述间具有一定关联，与单模态的文本情感分析任务或是图像情感分析任务相比，联合图像与文本两种模态的信息可以充分利用图像和文本信息之间的互补优势，从而实现更为准确的情感分析。
2、图像联合文本情感分析任务的关键在于如何高效捕获两种模态情感表示间的情感关联并充分融合两种模态特征。现有的图像联合文本情感分析方法主要使用注意力机制来简单地融合两种模态，尽管这些方法较单模态情感分析方法而言可以取得更好的结果，但由于多模态情感数据之间存在着相当大的类内差异和类间相似性，简单的注意力机制通常无法...
【技术保护点】
1.基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，所述步骤1中，根据用户的情感倾向将成对的图像和文本数据标注为以下三种类别中的其中一种：消极、中立和积极，将标注后的数据集划分为训练集和测试集，训练集中每个类别占训练集总量的比例相同。
3.根据权利要求1所述的基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，所述步骤2中，基于模态融合图卷积网络的图像联合文本情感分析模型的表达式为：
4.根据权利要求3所述的...
【技术特征摘要】
1.基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，所述步骤1中，根据用户的情感倾向将成对的图像和文本数据标注为以下三种类别中的其中一种：消极、中立和积极，将标注后的数据集划分为训练集和测试集，训练集中每个类别占训练集总量的比例相同。
3.根据权利要求1所述的基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，所述步骤2中，基于模态融合图卷积网络的图像联合文本情感分析模型的表达式为：
4.根据权利要求3所述的基于模态融合图卷积网络的图像联合文本情感分析方法，其特征在于，所述步骤2中，图像语义增强单元、文本语义增强单元和融合信息语义增强单元的结构相同，均包括边生成单元和图卷积运算单元；
5...
【专利技术属性】
技术研发人员：孙玉宝，谈钱辉，沈心旸，李军侠，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。