一种基于语法导向网络的多模态评价对象情感分类方法技术

本发明专利技术公开了一种针对多模态评价对象情感分类任务的基于预训练模型的语法导向网络，该网络能够进行端到端的细粒度情感分析，在抽取评价对象的同时判断其情感极性。该方法首先采用预训练模型对所用的多模态社交媒体语料进行模态对齐和融合，获得基于外部信息的多模态特征；其次，基于选用的预训练模型，过滤多模态特征矩阵中的噪声；接着，基于句法依存树对模态融合序列进行注意力计算，以捕捉基于语法信息的上下文注意力表示；最后，对于评价对象抽取和评价对象情感分类任务，构建解码层并优化损失函数。本发明专利技术提出的模型网络在多模态细粒度端到端情感分析任务上有着出色的表现。在评价对象情感分类任务上的各方面性能都较基线方法有了一定提升。线方法有了一定提升。线方法有了一定提升。

【技术实现步骤摘要】
一种基于语法导向网络的多模态评价对象情感分类方法


[0001]本专利技术涉及细粒度情感分类任务，具体涉及一种基于语法导向网络的多模态评价对象情感分类的方法。

技术介绍

[0002]现阶段大多数细粒度情感分析的方法并未将情感分析任务看作一个整体，而是分别针对特定子任务进行建模。然而，单独解决各个子任务无法对两个子任务之间的共同之处进行利用，分别进行模型训练也会消耗大量额外资源。特别是对于细粒度情感分类的任务来说，大多数方法都是在给定评价对象的情况下进行情感极性的预测。然而，在实际情况中语料中的评价对象是隐藏在文本中的，并不会显式地给出。因此，现阶段基于给定评价对象的情感分类方法不具有很强的应用价值。

技术实现思路

[0003]专利技术目的：基于现有技术的不足，本专利技术提出一种基于语法导向网络的多模态评价对象情感分类的方法。该模型能够有效编码多模态特征，并面向语法特点进行针对性的注意力计算。
[0004]技术方案：一种基于语法导向网络的多模态评价对象情感分类的方法。该方法的模型框架整体分为编码层，噪声过滤层，语法注意力层和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语法导向网络的多模态评价对象情感分类方法，其特征在于，该方法模型包括编码层、噪声过滤层、语法注意力层和解码层四个部分，首先通过编码层分别获得获得了多模态融合文本向量矩阵和单模态文本向量矩阵W以作为后续模型的输入，再通过噪声过滤层过滤编码层的噪声，在语法注意力层内，通过引入句法依存树以对句子间的依赖关系进行建模，从而增强模型语法上的可解释性，最后通过解码层获得标签序列。2.根据权利要求1所述的一种基于语法导向网络的多模态评价对象情感分类方法，其特征在于，编码层中选用LXMERT进行语料的多模态特征编码，在LXMERT层之外，编码层还拥有字符级词向量和一个独立的BERT编码块，所述LXMERT在进行跨模态编码之前首先要处理单模态输入，所述BERT采用12层Transformer输出向量的平均至为BERT的最终输出，所述字符级词向量采用了Char
‑
CNN对文本进行了字符级词向量编码，缓解了其缩写多、语病多、错别字多所带来的负面影响。3.根据权利要求2所述的一种基于语法导向网络的多模态评价对象情感分类方法，其特征在于，多模态编码使用的LXMERT模型来自与Huggingface1，其中视觉编码、文字编码和多模态编码分别使用5，9和5层Transformer编码器堆叠，输出向量维度为768。4.根据权利要求1所述的一种基于语法导向网络的多模态评价对象情感分类方法，其特征在于，BERT采用Google官方提供的BERT
‑
base预训练模型，其中包含12个Transformer层，得到的词向量维度为768，字符级词向量的维度设置为30，其初始化遵循(
‑
0.25,0.25)的均匀分布。5.根据权利要求1所述的一种基于语法导向网络的多模态评价对象情感分类方法，其特征在于，模型训练阶段模型的初始学习率设置为0.001，对BERT和LXMERT微调的学习率设置为0.0001，训练批次为8个样本。6.根据权利要求1所述的一种基于语法导向网络的多模态评价对象情感分类方法，其特征在于，所述噪声过滤层中统一编码<文本
‑
图片>对中图片与文本的关联程度，从而过滤编码层中的噪声，噪声过滤层经过训练之后，更加准确的判断图片和文本之间的...

【专利技术属性】
技术研发人员：李露，李昕玮，吴国威，华梓萱，魏素忠，周爱华，吴含前，陈锦铭，叶迪卓然，陈烨，焦昊，郭雅娟，
申请(专利权)人：国网江苏省电力有限公司电力科学研究院，
类型：发明
国别省市：