基于知识增强的跨语言结构化情感分析方法技术

本发明专利技术涉及一种基于知识增强的跨语言结构化情感分析方法。在本发明专利技术中，设计了基于对抗的嵌入适配器：通过一个基于词级别的注意力(Attention)机制动态学习语义丰富的词嵌入表示。同时，为了提高表示的鲁棒性，设置了一种对抗机制来对词嵌入添加扰动。本发明专利技术还设计了基于图神经网络的编码层：结构化知识(如句法分析树)对于结构化情感分析任务很重要；并且，虽然不同语义之间的语序是不一致的，但是句法结构是类似的。为此，本发明专利技术将结构化知识(如句法结构)结合到模型中，学习结构化的表示。最后本发明专利技术通过解码层进行解码操作，抽取文本中包含的目标、持有人、观点词和情感极性信息。观点词和情感极性信息。观点词和情感极性信息。

【技术实现步骤摘要】
基于知识增强的跨语言结构化情感分析方法


[0001]本专利技术涉及一种结构化情感分析方法。

技术介绍

[0002]随着社交媒体的持续升温，无论是用户还是其生产内容，都以爆炸式速度增长，它从根本上改变着社会大众以及企业对信息的接受和传播方式。在新闻日均千万级的大数据面前，结构化情感分析是一件非常有意义的工作。例如：一位媒体工作者，可以根据网上大量有关电影的评论，训练情感分析模型来了解人们喜欢和不喜欢的电影；一位投资工作者，可以构建有助于股票市场预测的模型，通过人们在论坛中的留言来评估他们对股票的乐观程度；一位政府工作者，通过情感分析模型可以评估人们看推特演讲时情感变化，以分析他们对演讲内容的爱憎程度。为此，结构化情感分析被提出，可以识别用户在社交平台上对财经新闻、体育、天气、娱乐等实时事件表达的情感，对许多应用是至关重要的。
[0003]具体地，结构化情感分析是指对文本中结构化知识(例如目标、观点词、持有人等)进行抽取并预测其情感，是自然语言处理(Natural Language Processing,NLP)领域中的一个重要研究方向。该任务包含了结构化抽取和情感分析两个子任务。首先，结构化抽取任务从文本中自动抽取出主体以及各个组成部分，并给出各部分之间存在的关系。随后，对于给定的结构化数据，预测其对应的情感。它依赖于实体抽取和关系抽取，但相较于实体抽取和关系抽取难度更大，其中涉及到自然语言处理、机器学习、模式匹配等多个学科的方法与技术。近年来，随着深度神经网络的发展，特别是大规模预训练方法的广泛应用，结构化情感分析任务的效果大幅度提升。
[0004]然而，由于结构化情感分析任务标注复杂，导致获取成本较高，数据集较小，这也大大限制了神经网络模型的效果。为此，跨语言迁移方法被提出用于结构化抽取，从而减少对标注数据需求。大多数跨语言结构迁移存在过于依赖双语词典和平行语料，特定于语言的问题，这些需要额外的资源或者工具。Feng等人提出在不考虑复杂的情况下，将跨语言迁移应用到序列标注的任务中。Wang等人利用跨语言的相似的空间分布表示进行关系抽取。
[0005]近年来，多语言预训练模型(如mBERT、XLM等)在跨语言迁移方面取得了巨大的成功。Liu等人和Nguyen等人将多语言词嵌入应用于跨语言任务，如语义角色标注、依存句法分析、命名实体识别。然而，目前大多数方法都是基于一种预训练词向量来进行建模的。事实上存在很多跨语言预训练模型，且具有不同的语义信息。因为每个预训练模型的优化目标不同，数据集也不同。更多地，结构化的知识别广泛用于结构化抽取任务，如何将其用于跨语言结构化情感分析任务却没有得到充分的研究。

技术实现思路

[0006]本专利技术要解决的技术问题是：随着预训练语言模型的发展，针对跨语言结构化抽取任提出了很多预训练的模型结构、训练目标以及训练数据，导致不同的跨语言预训练模型含有的语义信息也不同，所以，如何充分利用所有的跨语言预训练模型，进行提高词嵌入
表示还没有得到很好的研究；同时，结构化知识对于结构化情感分析任务很重要，结构化信息(如目标、持有人、观点词等)在句法树中往往距离接近，并且不同语言都基于相同的句法规则进行标注，所以他们的句法结构是类似的，如何结合句法结构用于跨语言结构化情感分析任务被目前的工作所忽略。
[0007]为了解决上述技术问题，本专利技术的技术方案是提供了一种基于知识增强的跨语言结构化情感分析方法，其特征在于，采用源语言的训练语料结构化情感分析方法，其特征在于，采用源语言的训练语料其标签是观点元组集合其中，表示样本数目，表示样本包含观点元组数目；观点元组集合中第k个观点元组o
k
＝(h
k
,t
k
,e
k
,p
k
)，表示第k个观点元组o
k
的持有人h
k
通过观点词e
k
对目标t
k
表达情感极性p
k
，其中：，其中：是训练语料中第j个句子x
j
的子串，的子串，的子串，分别为持有人h
k
、目标t
k
、观点词e
k
在句子x
j
中的开始位置，分别为句子x
j
中位置处的词，分别为持有人h
k
、目标t
k
、观点词e
k
在句子x
j
中的结束位置，分别为句子x
j
中位置处的词，则所述跨语言结构化情感分析方法具体包括以下步骤：
[0008]步骤S101、构建并训练对抗嵌入适配器，在构建对抗嵌入适配器时，设计词注意力机制，以捕捉在不同的语料库上以不同的训练策略和任务预训练的多个嵌入的重要隐式分布式语义，然后采用对抗性训练策略来提高词嵌入的稳健性；
[0009]训练对抗嵌入适配器时，获得由个跨语言预训练模型组成的集合将训练语料中的每句句子输入集合的个跨语言预训练模型，从而获得每句句子的词嵌入向量；对于训练语料中任意一句句子而言，通过词级别的注意力机制来融合使用个跨语言预训练模型获得的词嵌入向量，从而获得每句句子所对应的最终词嵌入向量，最后在最终词嵌入向量中加入扰动；
[0010]步骤S102、构建并训练语法GCN编码器：
[0011]获得训练语料中每个句子的句法分析树，基于句法分析树为每个句子构建一个图，再计算得到图的出入度矩阵，根据图以及出入度矩阵获得语法GCN编码器；将步骤S101获得的添加扰动后的词嵌入向量输入语法GCN编码器后得到统一空间的结构化表示，从而获得了信息丰富且稳健的结构性隐藏表征；
[0012]步骤S103，构建并训练解码器：
[0013]基于信息丰富且稳健的结构性隐藏表征，通过预测观点词的开始和结束位置来提取观点词，将这些观点词视为每个观点的触发词；然后，提取目标和持有人，并预测对给定表达的情感极性；
[0014]步骤S104、对于实时获得的任意一句句子x，利用训练后的对抗嵌入适配器获得添加扰动后的词嵌入向量后，再将该词嵌入向量输入训练后的语法GCN编码器得到句子x中各单词的隐层表示，最后利用训练后的解码器提取句子x中包含的所有观点元组。
[0015]优选地，所述步骤S101具体包括以下步骤：
[0016]步骤S1011、获得训练语料中第j个句子x
j
的词嵌入向量，包括以下步骤：
[0017]将句子x
j
分别输入个跨语言预训练模型后获得个不同的词嵌入向量，其中，将句子x
j
输入第i个跨语言预训练模型M
i
后获得的词嵌入向量表示为后获得的词嵌入向量表示为式中，式中，表示句子x
j
中第l个单词w
l
通过跨语言预训练模型M
i
获得的词嵌入，|x
j
|表示句子x
j
中单词的总数；...

【技术保护点】

【技术特征摘要】
1.一种基于知识增强的跨语言结构化情感分析方法，其特征在于，采用源语言的训练语料其标签是观点元组集合其中，表示样本数目，表示样本包含观点元组数目；观点元组集合中第k个观点元组o
k
＝(h
k
,t
k
,e
k
,p
k
)，表示第k个观点元组o
k
的持有人h
k
通过观点词e
k
对目标t
k
表达情感极性p
k
，其中：，其中：，其中：是训练语料中第j个句子x
j
的子串，的子串，分别为持有人h
k
、目标t
k
、观点词e
k
在句子x
j
中的开始位置，分别为句子x
j
中位置处的词，分别为持有人h
k
、目标t
k
、观点词e
k
在句子x
j
中的结束位置，分别为句子x
j
中位置处的词，则所述跨语言结构化情感分析方法具体包括以下步骤：步骤S101、构建并训练对抗嵌入适配器，在构建对抗嵌入适配器时，设计词注意力机制，以捕捉在不同的语料库上以不同的训练策略和任务预训练的多个嵌入的重要隐式分布式语义，然后采用对抗性训练策略来提高词嵌入的稳健性；训练对抗嵌入适配器时，获得由个跨语言预训练模型组成的集合将训练语料中的每句句子输入集合的个跨语言预训练模型，从而获得每句句子的词嵌入向量；对于训练语料中任意一句句子而言，通过词级别的注意力机制来融合使用个跨语言预训练模型获得的词嵌入向量，从而获得每句句子所对应的最终词嵌入向量，最后在最终词嵌入向量中加入扰动；步骤S102、构建并训练语法GCN编码器：获得训练语料中每个句子的句法分析树，基于句法分析树为每个句子构建一个图，再计算得到图的出入度矩阵，根据图以及出入度矩阵获得语法GCN编码器；将步骤S101获得的添加扰动后的词嵌入向量输入语法GCN编码器后得到统一空间的结构化表示，从而获得了信息丰富且稳健的结构性隐藏表征；步骤S103，构建并训练解码器：基于信息丰富且稳健的结构性隐藏表征，通过预测观点词的开始和结束位置来提取观点词，将这些观点词视为每个观点的触发词；然后，提取目标和持有人，并预测对给定表达的情感极性；步骤S104、对于实时获得的任意一句句子x，利用训练后的对抗嵌入适配器获得添加扰动后的词嵌入向量后，再将该词嵌入向量输入训练后的语法GCN编码器得到句子x中各单词的隐层表示，最后利用训练后的解码器提取句子x中包含的所有观点元组。2.如权利要求1所述的一种基于知识增强的跨语言结构化情感分析方法，其特征在于，所述步骤S101具体包括以下步骤：步骤S1011、获得训练语料中第j个句子x
j
的词嵌入向量，包括以下步骤：将句子x
j
分别输入个跨语言预训练模型后获得个不同的词嵌入向量，其中，将句子x
j
输入第i个跨语言预训练模型M
i
后获得的词嵌入向量表示为后获得的词嵌入向量表示为式中，式中，表示句子x
j
中第l个单词w
l
通过跨语言
预训练模型M
i
获得的词嵌入，|x
j
|表示句子x
j
中单词的总数；通过词级别的注意力机制来融合基于句子x
j
获得的个不同的词嵌入向量，从而得到最后的词嵌入向量E
j
，其中，e
l
为词嵌入向量E
j
中第l个词嵌入，则有：入，则有：式中，v
a
、W
a
及b
a
为可训练参数，表示v
a
的转置矩阵；步骤S1012、设表示对于句子x
j
的扰动，其中，r
l
表示对于句子x
j
中第l个单词的词嵌入e
l
的扰动；句子x
j
添加扰动r
j
后表示为进一步用表示，则有其中，通过以下方法获得对于句子x
j
的最差扰动的最差扰动使用估计的方法来计算有：有：式中，g是|x
j
|个g
l
的拼接，表示对于词嵌入e
l
的梯度计算，‖
·
‖2表示L2范数，l(
·
)表示对于第j个样本的loss，∈为用来控制扰动程度的参数；基于对抗扰动对抗训练最小化极大似然性从而获得对于句子x
j
...

【专利技术属性】
技术研发人员：张旗，杨向东，冯石路，
申请(专利权)人：东方财富信息股份有限公司，
类型：发明
国别省市：