一种基于知识图谱嵌入的多三元组联合抽取方法技术

本发明专利技术公开了一种基于知识图谱嵌入的多三元组联合抽取方法，包括：对获取的文本语句进行处理，得到文本语句矩阵；将文本语句矩阵输入到Transformer模型中提取文本语句的语义信息，得到语义特征向量；将语义特征向量用于实体识别序列标注任务，求得实体识别交叉熵损失loss

【技术实现步骤摘要】
一种基于知识图谱嵌入的多三元组联合抽取方法
本专利技术涉及数据存储与处理
，具体涉及一种知识图谱中三元组抽取的方法。
技术介绍
知识图谱以结构化的形式描述客观世界中的概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力，知识图谱主要包含实体、关系和三元组，每一个三元组表示一条知识。当两个实体之间存在某一种关系时，用(h，r，t)表示一个三元组，其中h，t分别表示头实体和尾实体，r表示关系，例如(中国，首都，北京)即表示了“北京是中国的首都”这么一条知识。实体关系学习是自动化地从文本中检测和识别出实体之间具有的语义关系，也称为关系抽取，关系抽取是知识图谱构建和信息抽取中的一个关键环节，具有重要的理论意义和广阔的应用前景，为多种应用提供重要的支持，如大规模知识图谱自动化构建，包括如WordNet、HowNet等常识知识图谱中的通用语义知识，以及金融、医疗等垂直应用领域的定制知识图谱。信息检索、智能推荐、问答系统等知识图谱应用技术的优劣程度严重依赖于上层图谱构建的质量。<本文档来自技高网...

【技术保护点】
1.一种基于知识图谱嵌入的多三元组联合抽取方法，其特征在于，包括：/n(1)获取文本语句，对文本语句进行处理，得到处理后的文本语句矩阵；/n(2)将处理后的文本语句矩阵输入到Transformer模型中提取文本语句的语义信息，得到文本语句的语义特征向量；/n(3)利用步骤(2)得到的语义特征向量对Transformer模型进行训练，得到训练后的Transformer模型；/n所述的训练过程包括：/n(3.1)将步骤(2)中得到的文本语句的语义特征向量，得到文本语句的实体标注预测矩阵，将实体标注预测矩阵中的实体标注预测值与真实标注结果对比后，求得实体识别交叉熵损失loss

【技术特征摘要】
1.一种基于知识图谱嵌入的多三元组联合抽取方法，其特征在于，包括：
(1)获取文本语句，对文本语句进行处理，得到处理后的文本语句矩阵；
(2)将处理后的文本语句矩阵输入到Transformer模型中提取文本语句的语义信息，得到文本语句的语义特征向量；
(3)利用步骤(2)得到的语义特征向量对Transformer模型进行训练，得到训练后的Transformer模型；
所述的训练过程包括：
(3.1)将步骤(2)中得到的文本语句的语义特征向量，得到文本语句的实体标注预测矩阵，将实体标注预测矩阵中的实体标注预测值与真实标注结果对比后，求得实体识别交叉熵损失loss1；
(3.2)将步骤(2)中得到的文本语句的语义特征向量用于关系分类任务，得到语句实体词关系分类矩阵，将语句实体词关系分类矩阵中实体词关系与真实关系对比，求取关系分类的实体识别交叉熵损失loss2；
(3.3)利用文本语句的实体标注预测矩阵和文本语句的语句实体词关系分类矩阵构造实体词关系，利用知识嵌入约束方法，求得关系矩阵，将关系矩阵中真实存在的关系与不存在的关系对比，求取关系的交叉熵损失loss3；
(3.4)基于梯度下降的优化算法，利用loss1、loss2和loss3计算最小化总的损失函数loss，迭代求解直至损失值收敛，得到训练后的Transformer模型；
(4)利用待预测文本语句输入步骤(3)中训练后的Transformer模型，得到预测文本语句的预测语义特征向量，完成多个三元组联合抽取方法。


2.根据权利要求1所述的基于知识图谱嵌入的多三元组联合抽取方法，其特征在于，步骤(1)中，所述的对文本语句进行处理，包括：
(1.1)获取文本语句，使用随机初始化的词嵌入层，将文本语句中的每个词映射到dw维空间，得到文本语句中每个词的词嵌入矩阵；
所述的文本语句为式(1)所示：
si＝{w1,w2,…,wi}(1)
其中，si为文本语句；wi表示文本语句中的每一个字符；
所述的词嵌入矩阵为式(2)所示：



其中，MW为词嵌入矩阵；R为矩阵维度的一个抽象字母；L为文本语句的长度；dw为文本语句中每个词映射后的维度；
(1.2)使用随机初始化的位置嵌入层，将文本语句中的每个词位置按顺序映射到dp维空间，得到文本语句中每个词的位置嵌入矩阵；
所述的位置嵌入矩阵为式(3)所示：



其中，MP为位置嵌入矩阵；R为矩阵维度的一个抽象字母；L为文本语句的长度；dp为文本语句中每个词位置映射后的维度；
(1.3)将文本语句中每一个词的词嵌入矩阵与其相对应的位置嵌入矩阵组合后，得到文本语句矩阵；
所述的文本语句矩阵为式(4)所示：
sj＝{e1,e2,…,ej}∈RL×V(4)
其中，sj为文本语句矩阵；ei为文本语句矩阵中每个词的词嵌入矩阵和位置嵌入矩阵；V＝dw+dp。


3.根据权利要求1所述的基于知识图谱嵌入的多三元组联合抽取方法，其特征在于，步骤(2)中，所述的Transformer模型为包括多头自注意力网络、残差正则网络、全连接前馈网络和残差正则网络四部分相连组成。


4.根据权利要求1所述的基于知识图谱嵌入的多三元组联合抽取方法，其特征在于，步骤(2)中，所述的得到文本语句的语义特征向量的过程，包括；
(2.1)将文本语句矩阵sj输入到Transformer模型多头自注意力网络中经过处理后得到语义特征向量所述的语义特征向量的计算公式为式(5)所示：






其中，WO∈RV×V，WiQ∈RV×H，均为训练过程中的参数；h是注意力头的个数；H是单个注意力头的维度；要求H与h的乘积等于V；
(2.2)将所述的语义特征向量与hi一同输入到残差正则网络中，处理后得到语义特征向量所述的语义特征向量的计算公式为式(6)所示：

【专利技术属性】
技术研发人员：陈华钧，余海阳，邓淑敏，张宁豫，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33