一种基于知识迁移的跨领域情感分析方法及存储介质技术

本发明专利技术公开了一种基于知识迁移的跨领域情感分析方法及存储介质，为了解决数据标注困难的问题，通常需要将其他领域的知识迁移到目标领域来。迁移的方式有很多，有基于模型的，基于实例的，基于关系的，这些方式在深度学习的背景下得到了很大的发展。但是在迁移的过程中，总是忽略了外部知识库的作用，因此尝试运用外部知识库的知识加强迁移学习的效果成为一种新的方法。本发明专利技术方法包括：构建语义网络模块、特征提取模块、域对抗训练模块。将亚马逊的五个产品评论数据集进行处理，提取其中一些出现频率比较高的词语并与conceptNet连接，构成语义网络。再使用rgcn对语义网络进行处理，提取特征表示。最后加入域对抗训练来提高模型的鲁棒性。的鲁棒性。的鲁棒性。

【技术实现步骤摘要】
一种基于知识迁移的跨领域情感分析方法及存储介质


[0001]本专利技术属于深度学习、自然语言处理，跨领域情感分析
，尤其是将外部常识知识加入到领域自适应模块，增强了跨领域情感分析模型的判别能力和鲁棒性。

技术介绍

[0002]传统的情感分析方法包括基于词典和非神经网络分类器方法。基于词典的方法指通过构建情感词典、提取情感值等来判断情感极性，并根据词典对句子进行分类。基于词典的方法易于操作，但它严重依赖于情感词典，忽略了词与词之间的位置关系。非神经网络分类器属于有监督机器学习方法。最常见的分类器是朴素贝叶斯(NB)、最大熵和支持向量机。这些分类器在不同的分类领域表现良好，如图像分类和文本分类。
[0003]深度学习在人工智能、计算机视觉和物联网等许多领域都发挥着重要作用。随着深度学习在自然语言处理领域的巨大发展，深度学习在情感分析中的应用越来越广泛。用于情感分析的神经网络模型分为三类，一是基于CNN的模型、二是基于RNN的模型以及混合神经网络模型。然而，深度学习方法需要大量的标注数据，在实际中很难对一个领域的数据进行大量标注，这个时候，迁移学习应运而生。
[0004]迁移学习可以从源任务中获取共享知识然后将其运用到目标任务的学习中，从而提高模型的泛化性能，并且减少目标任务所需大量标记数据带来的时间和资源的消耗。而适当的引入外部知识库能提高迁移模型的准确性和稳定性。

技术实现思路

[0005]本专利技术旨在解决以上现有技术的问题。提出了一种利用外部知识库的基于迁移学习的跨领域情感分析方法，此方法使用conceptNet(一种大规模知识图)注入常识知识到领域对抗框架来进一步改进模型的效果。
[0006]本专利技术包括了三个模块：构建语义网络模块，提取语义图特征模块，以及域对抗训练模块。在学习不同领域的知识时，使用域对抗训练减少域间差异，提高模型的鲁棒性。本专利技术的技术方案如下：
[0007]一种基于知识迁移的跨领域情感分析方法，包括以下步骤：
[0008]构建语义网络，将精炼后的文本与conceptNet结合起来，构成一个图，这个图称之为“语义图”，得到一个语义网络，反映了各个领域之间一些概念的联系。
[0009]提取语义特征，通过RGCN对语义网络进行处理，得到图的特征表示。
[0010]域对抗训练，包括特征提取器、域分类器和类别预测器，将两个毫不相关的领域之间的特征进行迁移学习。减少领域之间的差异的，当两个毫不相关的领域之间的特征表示相差太大时，迁移学习的效果可能会非常不好。所以需要进行域对抗训练减少域间差异。
[0011]进一步，所述构建语义网络具体包括：
[0012]1.1用一个三元组<节点1，关系，节点2>来表示图，提取评论集的关键信息，并将其设置为节点，观察与其他节点之间的关系；
[0013]1.2将原始数据集进行处理，使用分词工具，将其划分为短语，并忽略去停词，得到第一精炼文本信息；
[0014]1.3对步骤1.2中的第一精炼文本信息继续进行精炼提取，取出在文本中出现频率较高的词语，得到精炼后的文本；
[0015]1.4将精炼后的文本与conceptNet构建异构图网络，得到一个语义网络。
[0016]进一步，语义网络本质上是一个异构图网络，异构图即点与点之间，边与边之间存在着多种关系，所以这个时候使用图卷积神经网络来处理异构图，显然达不到良好的效果。这个时候就可以考虑，使用RGCN也就是关系图卷积神经网络来处理这个语义图，提取其中的关键信息。RGCN的结构如图2所示：所述RGCN将一个异构网络划分成多个同构网络来处理，将指向内外的节点都作为邻接点，同时加入自循环特征，进行特征融合，参与节点更新。
[0017]定义了一个简单的传播模型，用于计算图中v
i
表示的实体或节点的前向传递更新：
[0018][0019]其中：
[0020]表示节点v
i
在第l层的隐藏状态；
[0021]σ表示激活函数；
[0022]W表示权重矩阵；
[0023]表示关系r下节点i的邻接索引集合；
[0024]C
i,r
表示一个特定于问题的归一化常数，可以预先学习或选择。
[0025]从图2RGCN的结构来看，RGCN处理步骤为：
[0026](1)根据公式(1)计算图形中单个节点的状态；
[0027](2)收集来自相邻节点的激活(d维向量)，然后分别为每个关系类型(对于输入和输出边)进行变换，就会得到2N种关系类型，比如re1_1(in)就表示关系类型1的输入边。
[0028](3)将所得到的各种关系类型的表示和自循环特征以归一化和的形式累积，并通过激活函数(例如ReLU)，即可得到最终的特征表示。这样每个节点的更新都可以与整个图中的共享参数并行计算。
[0029]进一步，域对抗训练的目的是学习源域和目标域实例的共享特征，使得为源域训练的分类器可以应用于目标领域。域对抗训练包括特征提取器，域分类器，类别预测器，结构如图3所示。
[0030]所述特征提取器将源域样本和目标域样本进行映射和混合，将提取的信息传入域分类器和类别预测器；
[0031]所述域分类器判断传入的信息到底是来自源域还是目标域，并计算损失；
[0032]所述类别预测器对来自源域的数据进行分类。
[0033]1、特征提取器
[0034]如图3所示特征提取器将提取的源域和目标域的文本信息通过多层神经网络的映射得到文本特征表示M(x
s/t
)，然后将提取的特征表示分别传入类别预测器和域分类器。特征提取器的工作由上面的特征提取模块完成。
[0035]2、类别预测器
[0036]如图3所示的类别预测器对特征提取器提取到的文本信息进行标签分类，尽可能地区分不同领域的文本信息。因为源域样本是有标记的，所以在提取特征时不仅仅要考虑后面的域判别器的情况，还要利用源域的带标记样本进行有监督训练从而兼顾分类的准确性。
[0037]类别预测器所采用的损失函数为：
[0038][0039]其中：
[0040]K为已标记样本总数；
[0041]M(x
s
)为源域的样本信息；
[0042]C为训练的分类器，使用softmax作为激活函数的神经网络模型。
[0043]3、域分类器
[0044]如图3所示的域分类器对特征提取器提取到的文本信息进行域分类，判断传入的信息到底是来自源域还是目标域，并计算损失。域分类器的训练目标是尽量将输入的信息分到正确的域类别，和特征提取器的训练目标却恰恰相反(由于梯度反转层的存在)，特征提取器所提取的特征目的是使域判别器不能正确的判断出数据来自哪一个域，因此形成了一种对抗关系。
[0045]域分类器所采用的损失函数为交叉熵损失函数，交叉熵主要用来度量两个概率分布间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识迁移的跨领域情感分析方法，其特征在于，包括以下步骤：构建语义网络，将精炼后的文本与conceptNet结合起来，构成一个语义网络；提取语义特征，通过RGCN对语义网络进行处理，得到图的特征表示；域对抗训练，包括特征提取器、域分类器和类别预测器，将两个毫不相关的领域之间的特征进行迁移学习。2.根据权利要求1所述一种基于知识迁移的跨领域情感分析方法，其特征在于：所述构建语义网络具体包括：1.1用一个三元组<节点1，关系，节点2>来表示图，提取评论集的关键信息，并将其设置为节点，观察与其他节点之间的关系；1.2将原始数据集进行处理，使用分词工具，将其划分为短语，并忽略去停词，得到第一精炼文本信息；1.3对步骤1.2中的第一精炼文本信息继续进行精炼提取，取出在文本中出现频率较高的词语，得...

【专利技术属性】
技术研发人员：孙开伟，李彦，冉雪，王支浩，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：