一种面向知识图谱构建的实体关系抽取方法及系统技术方案

本发明专利技术公开了一种面向知识图谱构建的实体关系抽取方法及系统，首先获取领域中非结构化文本，并进行数据预处理，标注文本中出现的实体、实体类型和实体之间的关系，得到训练数据；然后构建神经网络模型；并将训练数据输入神经网络模型进行训练，分别训练成为实体类型分类模型，实体关系类型分类模型；最后将实体类型分类模型和实体关系分类模型关联起来整体运作，对新数据先鉴定实体类型再在此基础上抽取实体关系。本发明专利技术不仅摆脱了人工设计提示词，也保证了跨数据集和跨领域的灵活性。通过对实体类别进行预分类，缩小了实体关系的分类范围，提升了关系分类的准确度。本发明专利技术能够适应随机初始化的提示词所带来的影响，而且收敛更快，准确度跟高。准确度跟高。准确度跟高。

【技术实现步骤摘要】
一种面向知识图谱构建的实体关系抽取方法及系统


[0001]本专利技术属于计算机科学、语言学和机器学习
，涉及一种面向知识图谱构建的实体关系抽取方法及系统。

技术介绍

[0002]知识图谱能够组织一个领域或多个领域内的数据，并且有效应用于分析和推理。但是知识图谱有结构化的包含实体关系的三元组组成，并且要求能动态地从新数据中学习和更新知识。显然，人工从非结构化数据中整理实体关系非常的繁重且不切实际。现有的研究针对从非结构化文本种提取包含实体关系的三元组普遍采用先进行实体抽取再进行关系分类的两步策略。相较于实体抽取，关系分类信息更隐蔽，变量更多因而准确度也更低。现有方法在抽取给定实体的关系的时候存在两个主要问题：使用人工设计的提示词而削弱了方法的灵活性也增加了人工劳动的强度；在关系分类过程面对众多类别而降低了分类的准确性。本文提出了一种面向知识图谱构建的实体关系抽取方法，通过对实体预分类构建双层关系分类模型，提升了关系分类的准确度。此方法同时可以在随机初始化的提示词下依然保持着优良的性能，摆脱了对人工设计提示词的依赖。/>[0003]为了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向知识图谱构建的实体关系抽取方法，其特征在于，包括以下步骤：步骤1：获取领域中非结构化文本，并进行数据预处理，标注文本中出现的实体、实体类型和实体之间的关系，得到训练数据；步骤2：构建神经网络模型；所述神经网络模型，由依次连接的prompt层、预训练语言模型PLM和类集中化分类器组成；所述prompt层，用于在原始句子后面加上一个带空缺的后缀，将原始句子转化为一个带空缺的句子；所述预训练语言模型PLM，最前一层是词嵌入层，用于将原始句子逐词转为词向量；包括把每一个空缺的词当作特殊字符，也转化为词向量；所述类集中化分类器，输入层连接预训练语言模型PLM，输出词向量属于每个类的概率；步骤3：将步骤1中的训练数据输入步骤2中的神经网络模型进行训练，分别训练成为实体类型分类模型，实体关系分类模型；步骤4：将实体类型分类模型和实体关系分类模型关联起来整体运作，对新数据先鉴定实体类型再在此基础上抽取实体关系。2.根据权利要求1所述的面向知识图谱构建的实体关系抽取方法，其特征在于，步骤1中所述进行数据预处理，是在非结构化文本中标注出实体、实体类型和实体关系；令原始文本序列为x＝{x1，x2，...x
|x|
)，设x包含一对具有某种关系的实体，记为主语s
x
和宾语o
x
，其中主语和宾语都是x的子序列，主语属于的实体类型记为t(s
x
)，宾语属于的实体类型记为t(o
x
)，他们之间的关系记为r(s
x
，o
x
)；然后根据原始数据确定所有可能出现的主语实体类型宾语实体类型和所有实体关系类型R＝{r1，r2，...}，...属于t(s
x
)，...属于t(o
x
)；将数据按照不同的主语宾语实体类型对p＝{t(s
x
)，t(o
x
)}进行划分，在数据集中出现的所有主语宾语实体类型对记为P＝{p1，p2，...}；对于每种主语宾语实体类型对，都有特定而有限的实体类型并且R(p
k
)∈R。3.根据权利要求1所述的面向知识图谱构建的实体关系抽取方法，其特征在于，步骤3的具体实现包括以下子步骤：步骤3.1：将步骤1中的训练数据输入步骤2中的神经网络模型的prompt层添加后缀，实体类型分类模型训练过程中的prompt层添加后缀为“即[实体]是_”；实体关系分类模型中的prompt层添加后缀为“即[主语]_[宾语]”；步骤3.2：prompt层将带空缺词的句子输入预训练语言模型PLM，预训练语言模型PLM输出空缺词的预测词向量，再把预测词向量输入类集中化分类器；步骤3.3：类集中化分类器将空缺词的预测词向量与每个类别的标准词向量作对比，根据空缺词向量与哪个标准词向量更接近，判断词向量属于哪个类；步骤3.4：类集中化分类器比对预训练语言模型PLM输出的空缺词的预测词向量v，和每个类的标准词向量c，计算它们的相似度；步骤3.5：在迭代预定的轮次之后，得到训练完成的模型。
4.根据权利要求3所述的面向知识图谱构建的实体关系抽取方法，其特征在于，步骤3.2中，预训练语言模型PLM输出空缺词的预测词向量，是从原始句子到高维向量空间的映射f
θ
：x
→
V，其中θ是预训练语言模型PLM中包含的所有可训练的参数。5.根据权利要求3所述的面向知识图谱构建的实体关系抽取方法，其特征在于，步骤3.3中，所述标准词向量，是在词嵌入空间随机生成张量，即用与空缺词的预测词向量相同维度的随机向量作为标注词向量的初始值，然后在后续训练过程中逐步调整标准词向量；实体类别分类模型抽取主语类型时有标准词向量集合：实体类别分类模型抽取宾语类型时有标准词向量对每个主语类型
‑
宾语类型对p
k
有标准词向量有标准词向量6.根据权利要求3所述的面向知识图谱构建的实体关系抽取方法，其特征在于，步骤3.4中，采用不同的相似度算法，包括向量点积、余弦相似度、欧氏距离、曼哈顿距离；对于样本x，在预训练语言模型输出有空缺词的预测词向量v，在类集中化分类器有n个可能类别，并对应c...

【专利技术属性】
技术研发人员：谭杰骏，王建军，金晓伟，郭官峰，胡文斌，
申请(专利权)人：郑州锲颖信息科技有限公司，
类型：发明
国别省市：