一种基于增强图卷积神经网络的方面级情感分析方法技术

本发明专利技术公开了一种基于增强图卷积神经网络的方面级情感分析方法，该方法将方面感知注意力机制与自注意力机制相结合，方面感知注意力机制学习与方面词相关的语义信息，而自注意力机制学习句子的全局语义，并构造根据句法依赖树中词之间的不同距离计算的句法掩码矩阵以学习从局部到全局的结构信息，然后用以增强传统图卷积神经网络，最后通过多层图卷积操作获得用于方面词情感分类的特征，能更高效准确地进行方面级情感分析。地进行方面级情感分析。地进行方面级情感分析。

【技术实现步骤摘要】
一种基于增强图卷积神经网络的方面级情感分析方法


[0001]本专利技术属于自然语言处理
，具体涉及一种基于增强图卷积神经网络的方面级情感分析方法。

技术介绍

[0002]文本情感分析按分析粒度可分为：篇章级情感分析、句子级情感分析和方面级情感分析。方面级情感分析(Aspect
‑
based Sentiment Analysis，ABSA)是一个面向实体级的细粒度情感分析任务，旨在判断句子中给定的方面词的情感极性。与篇章级情感分析和句子级情感分析相比，方面级情感分析能进行更完整的情感分析。
[0003]由于待分析文本中方面的形式和数量都不确定，一方面，方面级情感分析不仅要对显式的语义表达进行分析，还要对隐式的语义表达进行深层理解；另一方面，方面级情感分析需要为每个评价对象确定对其表达情感的上下文范围。由于自然语言表达连贯，用语灵活，指代词等表达方式非常普遍，因此方面级情感分析常常会受到句中不相关词噪音的影响，导致最终分析结果不够准确。
[0004]例如，“The food is not as good as the service.”一句，对于方面词“food”，其情感极性是负面的，但对于方面词“service”来说，其情感极性是正面的。当句子当中有多个不同情感极性的方面词，会产生噪声问题，比如对于方面词“food”来说，形容它的词是“not”，但由于“good”的存在，会对其情感分析产生错误的判断。
[0005]有鉴于此，如何高效准确地进行方面级情感分析，成为本行业中较为迫切的技术课题。

技术实现思路

[0006]为此，本专利技术意在提供一种基于增强图卷积神经网络的方面级情感分析方法，该方法将句子的语义信息和句法结构融合在一起，能更准确地理解方面级和句子级的语义信息，正确界定对各方面进行情感表达的上下文范围，从而获得更为理想的情感分析结果。
[0007]为实现上述目的，本专利技术所提供的该种基于增强图卷积神经网络的方面级情感分析方法，其具体包括以下步骤：
[0008]步骤一、构建输入层，具体包括以下步骤：
[0009]11、基于待分析文本构建方面词句子对(a，s)；其中，s＝{w1，w2，......，w
n
}，其为待分析的句子，包含n个词；a＝{a1，a2，......，a
m
}，其为待分析句子中的方面词的集合。
[0010]本质上来讲，这里所获得的a＝{a1，a2，......，a
m
}可以看作是s＝{w1，w2，......，w
n
}的子序列。
[0011]12、基于s＝{w1，w2，......，w
n
}生成对应的词嵌入序列x＝{x1，x2，......，x
n
}；13、将词嵌入序列x＝{x1，x2，......，x
n
}输入到双向长短期记忆网络中生成隐藏状态向量序列H＝{h1，h2，......，h
n
}；其中，h∈R
2d
是在时间步t时的隐藏状态向量，d是单向长短期记忆网络输出的隐藏状态向量的维度。
[0012]14、基于隐藏状态向量序列H＝{h1，h2，......，h
n
}获得对应于a＝{a1，a2，......，a
m
}的隐藏状态向量序列h
a
＝{h
a1
，h
a2
，......，h
am
}。
[0013]本质上来讲，这里所获得的隐藏状态向量h
a
即是方面词的表示，其也是隐藏状态向量序列H的子序列。
[0014]步骤二、构建注意力层，具体包括以下步骤：
[0015]21、基于p头方面感知注意力机制，使用下述公式(1)计算方面感知注意力分数矩阵：
[0016][0017]其中，i∈[1，p]，p为超参数，超参数就是人为定义的参数，方面感知注意力分数矩阵表示它是通过第i个注意力头获得的；tanh为激活函数，H
a
∈R
(n
×
d)
为将隐藏状态向量序列h
a
＝{h
a1
，h
a2
，......，h
am
}均值池化后复制n次获得的结果，W
a
∈R
(d
×
d)
和W
k
∈R
(d
×
d)
均是可学习参数权重矩阵，其中的d为输入节点特征的维度，K为图卷积神经网络前一层的隐藏状态向量序列，T为转置，b为偏置项。
[0018]需要说明的是，与句子级别的情感分类任务不同，基于方面的情感分类旨在判断其上下文句子中一个特定方面的情感，因此需要根据不同的方面词对特定的语义相关性进行建模，故在这里，我们提出了方面感知注意力机制(aspect
‑
aware attention)，将方面词的表示作为query计算方面感知注意力分数来学习方面词相关的特征。
[0019]本质上来讲，这里我们使用了p头方面感知注意力机制(aspect
‑
aware attention)来获得一个句子的注意力分数矩阵，方面感知注意力分数矩阵则表示它是通过第i个注意力头获得的，其中，p为一个人为定义的参数，即超参数。
[0020]22、基于p头自注意力机制，使用下述公式(2)计算自注意力分数矩阵：
[0021][0022]其中，i∈[1，p]，p为上述超参数，自注意力分数矩阵表示它是通过第i个注意力头获得的；Q和K均为图卷积神经网络前一层的隐藏状态向量序列，W
Q
∈R
(d
×
d)
和W
k
∈R
(d
×
d)
均是可学习参数权重矩阵，d为输入节点特征的维度，T为转置；
[0023]本质上来讲，这里我们使用了p头自注意力机制来获得一个句子的注意力分数矩阵，自注意力分数矩阵则表示它是通过第i个注意力头获得的，这里的自注意力分数矩阵A
self
可以通过利用p头的自注意力机制(self
‑
attention)来构建，它捕获单个句子的两个任意单词之间的语义关系。
[0024]23、基于方面感知注意力分数矩阵和自注意力分数矩阵，使用下述公式(3)计算注意力分数矩阵：
[0025][0026]其中，A
i
为注意力分数矩阵；
[0027]本质上来讲，在这里，我们将方面感知注意力机制与自注意力机制结合起来，A
i
∈R
(n
×
n)
用于后面句法掩码层计算的输入，对于每个A
i
，它对应着一个全连接图。
[0028]步骤三、构建句法掩码层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强图卷积神经网络的方面级情感分析方法，其特征在于，该方法具体包括以下步骤：步骤一、构建输入层，具体包括以下步骤：11、基于待分析文本构建方面词句子对(a，s)；其中，s＝{w1，w2，......，w
n
}，其为待分析的句子，包含n个词；a＝{a1，a2，......，a
m
}，其为待分析句子中的方面词的集合；12、基于s＝{w1，w2，......，w
n
}生成对应的词嵌入序列x＝{x1，x2，......，x
n
}；13、将词嵌入序列x＝{x1，x2，......，x
n
}输入到双向长短期记忆网络中生成隐藏状态向量序列H＝{h1，h2，......，h
n
}；其中，h∈R
2d
是在时间步t时的隐藏状态向量，d是单向长短期记忆网络输出的隐藏状态向量的维度；14、基于隐藏状态向量序列H＝{h1，h2，......，h
n
}获得对应于a＝{a1，a2，......，a
m
}的隐藏状态向量序列h
a
＝{h
a1
，h
a2
，......，h
am
}；步骤二、构建注意力层，具体包括以下步骤：21、基于p头方面感知注意力机制，使用下述公式(1)计算方面感知注意力分数矩阵：其中，i∈[1，p]，p为超参数，方面感知注意力分数矩阵表示它是通过第i个注意力头获得的；tanh为激活函数，H
a
∈R
(n
×
d)
为将隐藏状态向量序列h
a
＝{h
a1
，h
a2
，......，h
am
}均值池化后复制n次获得的结果，W
a
∈R
(d
×
d)
和W
k
∈R
(d
×
d)
均是可学习参数权重矩阵，其中的d为输入节点特征的维度，K为图卷积神经网络前一层的隐藏状态向量序列，T为转置，b为偏置项；22、基于p头自注意力机制，使用下述公式(2)计算自注意力分数矩阵：其中，i∈[1，p]，p为上述超参数，自注意力分数矩阵表示它是通过第i个注意力头获得的；Q和K均为图卷积神经网络前一层的隐藏状态向量序列，W
Q
∈R
(d
×
d)
和W
k
∈R
(d
×
d)
均是可学习参数权重矩阵，d为输入节点特征的维度，T为转置；23、基于方面感知注意...

【专利技术属性】
技术研发人员：王艳娜，周子力，张政，周淑霄，
申请(专利权)人：曲阜师范大学，
类型：发明
国别省市：