一种实体关系抽取模型及其构建方法技术

本发明专利技术公开了一种实体关系抽取模型及其构建方法，属于知识图谱构建领域。所述实体关系抽取模型，包括：编码模块，用于提取待抽取句子的句子语义表示；潜在关系预测模块，用于根据所述句子语义表示进行关系类型的分类，得到待抽取句子的潜在关系集合；实体识别模块，用于识别所述潜在关系集合中的每个关系下的潜在实体；全局关联矩阵模块，用于根据所述句子语义表示得到全局关联矩阵，并根据全局关联矩阵识别待抽取句子在每个关系下对应的潜在实体中属于该关系下的实体。本发明专利技术解决了现有技术中实体关系抽取中存在的关系重叠和实体重叠问题。叠问题。叠问题。

【技术实现步骤摘要】
一种实体关系抽取模型及其构建方法


[0001]本专利技术属于知识图谱构建领域，特别是涉及一种实体关系抽取模型及其构建方法。

技术介绍

[0002]关系抽取作为知识抽取中的子任务之一，旨在从给定的非结构化文本中识别出实体及实体之间的关系，即关系三元组(头实体，关系，尾实体)形式。关系抽取能够对文本数据进行更小粒度的语义关系分析，该任务得到的结果可以作为问答系统、知识图谱等一系列下游任务的基础。
[0003]当前关系抽取方法存在以下两方面不足：一是文本语义信息挖掘不充分，导致关系抽取中存在实体重叠、关系重叠问题；二是已有的关系抽取模型的泛化能力较差，导致模型在不同数据集表现差距大的问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的一项或多项不足，提供一种实体关系抽取模型及其构建方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种实体关系抽取模型，包括：
[0006]编码模块，用于提取待抽取句子的句子语义表示；
[0007]潜在关系预测模块，用于根据所述句子语义表示进行关系类型的分类，得到待抽取句子的潜在关系集合；
[0008]实体识别模块，用于识别所述潜在关系集合中的每个关系下的潜在实体；
[0009]全局关联矩阵模块，用于根据所述句子语义表示得到全局关联矩阵，并根据全局关联矩阵识别待抽取句子在每个关系下对应的潜在实体中属于该关系下的实体。
[0010]进一步地，所述编码模块为基于Transformer的双向编码表征的预训练语言模型BERT。
[0011]进一步地，所述句子语义表示的提取方法为：将待抽取句子输入BERT模型中，得到句子的句子语义表示h。
[0012]进一步地，所述句子语义表示h的计算公式为：
[0013]h0＝SW
s
+W
p
[0014][0015]式中，S为输入句子的独热向量的矩阵表示句子注意力掩码；W
s
为词嵌入矩阵；W
p
为位置嵌入矩阵；h0为隐藏层第一层的状态向量；h
α
‑1为第α
‑
1层的状态向量；h
α
为第α层的隐藏层的状态向量；r
adv
为对抗扰动；Trans()表示所采用的Transformer模块。
[0016]进一步地，所述潜在关系集合的生成方法为：
[0017]将所述句子语义表示进行池化操作得到池化向量；
[0018]利用sigmoid激活函数对池化向量进行处理得到句子中潜在关系的概率分布矩
阵，所述句子中潜在关系的概率分布矩阵的计算公式为：
[0019]h
avg
＝Avgpool(h)
[0020]P
rel
＝σ(W
r
h
avg
+b
r
)
[0021]式中，Avgpool()为一个池化操作函数，h为经由编码器得到的语义表示；h
avg
为语义表示经过池化得到池化向量，σ为sigmoid激活函数，W
r
为潜在关系概率分布矩阵的状态转移矩阵，b
r
为潜在关系概率分布矩阵的偏移量矩阵；P
rel
为潜在关系的概率分布矩阵；
[0022]根据所述潜在关系的概率分布矩阵，将概率值大于预设的关系阈值的潜在关系输出形成潜在关系集合。
[0023]进一步地，所述潜在实体的识别方法为：
[0024]根据句子语义表示h和潜在关系集合中的一个关系r计算头尾实体的概率分布矩阵u，经过线性操作将线性映射后的概率分布矩阵分别截取隐层的前一半得到矩阵q
α
和截取隐层的后一半得到矩阵k
α
，计算公式为：
[0025][0026][0027]式中，h为句子编码得到的语义表示；u表示当前句子所包含的关系经过编码得到的关系表示；为线性激活函数；half()表示截取操作，half0()表示截取经过线性映射得到的矩阵的前一半，half1()表示截取经过线性映射后得到的矩阵的后一半；q
α
表示为实体类型为α的概率分布矩阵；k
α
表示为实体类型为α的概率分布矩阵；
[0028]将矩阵q
α
和矩阵k
α
进行矩阵变换得到头尾实体的位置概率分布矩阵，所述头尾实体的位置概率分布矩阵的计算公式为：
[0029][0030]式中，Q为位置变换矩阵，相当于对矩阵q和矩阵k做一次线性注意力机制得到实体类型为α的位置概率分布矩阵s
α
；
[0031]将所述头尾实体的位置概率分布矩阵中概率大于预设的实体阈值的位置对应的片段作为潜在头尾实体输出。
[0032]进一步地，根据所述句子语义表示得到全局关联矩阵，并根据全局关联矩阵识别待抽取句子在每个关系下对应的潜在实体中属于该关系下的实体，包括：
[0033]根据句子的句子语义表示得到全局关联矩阵；
[0034]对于所述全局关联矩阵的行列为头尾识别得字符位置表示，所述全局矩阵中的概率值为句子中每个字符对的置信度，计算公式如下：
[0035][0036]式中，表示实体类型为sub类型，即头实体类型的句子语义表示h中的第i个字符的语义表示，表示实体类型为obj类型，即尾实体类型的句子语义表示h中的第j个字符的语义表示，表示拼接得到头尾字符位置表示；σ为sigmoid激活函数；W
g
为全局关联矩阵的状态转移矩阵；b
g
为全局关联矩阵的偏移量矩阵；表示经过计算得到的全局概率矩阵，矩阵中每个位置的值都表示一个头尾字符对的置信度；
[0037]将所述全局关联矩阵中每个位置表示的置信度大于预设的关联阈值的都标注为1，否则标注为0；
[0038]根据潜在关系和该潜在关系下的潜在实体，利用潜在实体与全局关联矩阵中的序列进行对比，将全局关联矩阵中位置为1的地方，取其坐标值，横纵坐标值在句子中对应的字符表示头尾实体开始字符的位置，由此得到该潜在关系下对应的头尾实体对。
[0039]一种实体关系抽取模型的构建方法，包括：
[0040]S100.将数据集中的每条文本数据x以及文本数据x中包含的关系三元组(e1,r,e2)预处理为第一数据，所述第一数据包括文本数据x包含的真实关系矩阵R
rel
和每个关系r对应的实体对的头尾字符位置对齐的真实全局关系矩阵M
g
，三元组中e1为头实体，e2为尾实体；
[0041]S200.根据BERT模型将文本数据x进行编码得到句子语义表示h，所述句子语义表示h的计算公式为：
[0042]h0＝SW
s
+W
p
[0043][0044]式中，S为输入句子的独热向量的矩阵表示句子注意力掩码；W
s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体关系抽取模型，其特征在于，包括：编码模块，用于提取待抽取句子的句子语义表示；潜在关系预测模块，用于根据所述句子语义表示进行关系类型的分类，得到待抽取句子的潜在关系集合；实体识别模块，用于识别所述潜在关系集合中的每个关系下的潜在实体；全局关联矩阵模块，用于根据所述句子语义表示得到全局关联矩阵，并根据全局关联矩阵识别待抽取句子在每个关系下对应的潜在实体中属于该关系下的实体。2.根据权利要求1所述的一种实体关系抽取模型，其特征在于，所述编码模块为基于Transformer的双向编码表征的预训练语言模型BERT。3.根据权利要求2所述的一种实体关系抽取模型，其特征在于，所述句子语义表示的提取方法为：将待抽取句子输入BERT模型中，得到句子的句子语义表示h。4.根据权利要求3所述的一种实体关系抽取模型，其特征在于，所述句子语义表示h的计算公式为：h0＝SW
s
+W
p
式中，S为输入句子的独热向量的矩阵表示句子注意力掩码；W
s
为词嵌入矩阵；W
p
为位置嵌入矩阵；h0为隐藏层第一层的状态向量；h
α
‑1为第α
‑
1层的状态向量；h
α
为第α层的隐藏层的状态向量；r
adv
为对抗扰动；Trans()表示所采用的Transformer模块。5.根据权利要求1所述的一种实体关系抽取模型，其特征在于，所述潜在关系集合的生成方法为：将所述句子语义表示进行池化操作得到池化向量；利用sigmoid激活函数对池化向量进行处理得到句子中潜在关系的概率分布矩阵，所述句子中潜在关系的概率分布矩阵的计算公式为：h
avg
＝Avgpool(h)P
rel
＝σ(W
r
h
avg
+b
r
)式中，Avgpool()为一个池化操作函数，h为经由编码器得到的语义表示；h
avg
为语义表示经过池化得到池化向量，σ为sigmoid激活函数，W
r
为潜在关系概率分布矩阵的状态转移矩阵，b
r
为潜在关系概率分布矩阵的偏移量矩阵；P
rel
为潜在关系的概率分布矩阵；根据所述潜在关系的概率分布矩阵，将概率值大于预设的关系阈值的潜在关系输出形成潜在关系集合。6.根据权利要求1所述的一种实体关系抽取模型，其特征在于，所述潜在实体的识别方法为：根据句子语义表示h和潜在关系集合中的一个关系r计算头尾实体的概率分布矩阵u，经过线性操作将线性映射后的概率分布矩阵分别截取隐层的前一半得到矩阵qα和截取隐层的后一半得到矩阵k
α
，计算公式为：，计算公式为：
式中，h为句子编码得到的语义表示；u表示当前句子所包含的关系经过编码得到的关系表示；为线性激活函数；half()表示截取操作，half0()表示截取经过线性映射得到的矩阵的前一半，half1()表示截取经过线性映射后得到的矩阵的后一半；q
α
表示为实体类型为α的概率分布矩阵；k
α
表示为实体类型为α的概率分布矩阵；将矩阵qα和矩阵k
α
进行矩阵变换得到头尾实体的位置概率分布矩阵，所述头尾实体的位置概率分布矩阵的计算公式为：式中，Q为位置变换矩阵，相当于对矩阵q和矩阵k做一次线性注意力机制得到实体类型为α的位置概率分布矩阵s
α
；将所述头尾实体的位置概率分布矩阵中概率大于预设的实体阈值的位置对应的片段作为潜在头尾实体输出。7.根据权利要求1所述的一种实体关系抽取模型，其特征在于，根据所述句子语义表示得到全局关联矩阵，并根据全局关联矩阵识别待抽取句子在每个关系下对应的潜在实体中属于该关系下的实体，包括：根据句子的句子语义表示得到全局关联矩阵；对于所述全局关联矩阵的行列为头尾识别得字符位置表示，所述全局矩阵中的概率值为句子中每个字符对的置信度，计算公式如下：式中，表示实体类型为sub类型，即头实体类型的句子语义表示h中的第i个字符的语义表示，表示实体类型为obj类型，即尾实体类型的句子语义表示h中的第j个字符的语义表示，表示拼接得到头尾字符位置表示；σ为sigmoid激活函数；W
g
为全局关联矩阵的状态转移矩阵；b
g
为全局关联矩阵的偏移量矩阵；表示经过计算得到的全局概率矩阵，矩阵中每个位置的值都表示一个头尾字符对的置信度；将所述全局关联矩阵中每个位置表示的置信度大于预设的关联阈值的都标注为1，否则标注为0；根据潜在关系和该潜在关系下的潜在实体，利用潜在实体与全局关联矩阵中的序列进行对比，将全局关联矩阵中位置为1的地方，取其坐标值，横纵坐标值在句子中对应的字符表示头尾实体开始字符的位置，由此得到该潜在关系下对应的头尾实体对。8.一种实体关系抽取模型的构建方法，其特征在于，包括：S100.将数据集中的每条文本数据x以及文本数据x中包含的关系三元组(e1,r,e2)预处理为第一数据，所述第一数据包括文本数据x包含的真实关系矩阵R
rel
和每个关系r对应的实体对的头尾字符位置对齐的真实全局关系矩阵M
g
，三元组中e1为头实体，e2为尾实体；S200.根据BERT模型将文本数据x进行编码得到句子语义表示h，所述句子语义表示h的计算公式为：h0＝SW
s
+W
p
式中，S为输入...

【专利技术属性】
技术研发人员：胡佳，余安东，张磊，曾山松，
申请(专利权)人：电信科学技术第五研究所有限公司，
类型：发明
国别省市：