知识图谱推理模型训练方法、设备和存储介质技术

本申请提供一种知识图谱推理模型训练方法、设备和存储介质，该方法包括：获取与第一一阶逻辑结构对应的第一多元组，在知识图谱中确定第一多元组中多个实体节点各自对应的第一临实体节点；在包含多个实体节点及多个实体节点各自对应的第一临实体节点的推理子图中确定第二多元组及第二多元组对应的第二一阶逻辑结构。在知识图谱中确定目标多元组中各实体节点对应的第二临实体节点，根据实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定相应实体节点对应的第二向量表示，以得到目标多元组的向量表示集。根据向量表示集对知识图谱推理模型进行训练。通过优化实体节点的向量表示和扩展新的一阶逻辑结构的样本，提高模型性能。提高模型性能。提高模型性能。

【技术实现步骤摘要】
知识图谱推理模型训练方法、设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种知识图谱推理模型训练方法、设备和存储介质。

技术介绍

[0002]知识图谱(knowledge graph,简称KG)可视为包含多种关系的图。在图中，每个节点是一个实体(如人名、地名、事件和活动等)，任意两个节点之间的边表示这两个节点之间的关系。一般而言，可以将知识图谱中任意两个相连的节点及其所连接边表示成三元组(triplet),即(头实体节点，关系，尾实体节点)，例如：(北京,首都,中国)。
[0003]知识图谱推理是一种通过模仿人类社会认知模式来探索机器智能的方法。人们结合数理逻辑、关系路径、分布式表示等广泛地研究了基于知识图谱的常识推理算法，并借助深度学习模型实现了在一阶逻辑查询下推理能力的泛化。一种进行知识图谱推理的方式是通过将知识图谱和查询嵌入到低维向量空间来进行一阶逻辑(First
‑
Order
‑
Logical，简称FOL)推理。不同于基本的三元组结构,一阶逻辑通过逻辑谓词和逻辑量化的组合来实现，比如使用了存在、合取、析取、否定、映射等逻辑运算符，非常适合来描述关系。围绕这些逻辑运算符，使得知识图谱推理模型的学习目标通常专注于逻辑映射而非实体、关系的表征。
[0004]然而一阶逻辑推理往往需要人工定义的逻辑范式(或者说逻辑结构)，对未见过的逻辑范式归纳能力较弱，使得泛化程度较差，并且相对较差的表征会导致推理模型难以抵抗噪声，进而对推理准确性造成不利影响，尤其在由真实世界知识构建的开集(open
‑
set)知识图谱中。

技术实现思路

[0005]本专利技术实施例提供一种知识图谱推理模型训练方法、装置、设备和存储介质，用以提高知识图谱推理模型的泛化能力和准确度。
[0006]第一方面，本专利技术实施例提供一种知识图谱推理模型训练方法，所述方法包括：
[0007]获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
[0008]在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
[0009]在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
[0010]在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
[0011]根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示
集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
[0012]根据所述向量表示集对知识图谱推理模型进行训练。
[0013]第二方面，本专利技术实施例提供一种知识图谱推理模型训练装置，所述装置包括：
[0014]获取模块，用于获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
[0015]临域扩散模块，用于在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
[0016]特征确定模块，用于根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
[0017]训练模块，用于根据所述向量表示集对知识图谱推理模型进行训练。
[0018]第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面所述的知识图谱推理模型训练方法。
[0019]第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第一方面所述的知识图谱推理模型训练方法。
[0020]第五方面，本专利技术实施例提供一种知识图谱推理模型训练方法，所述方法包括：
[0021]接收用户设备通过调用知识图谱推理模型训练服务触发的请求，所述请求中包括所述预设训练查询信息；
[0022]利用所述知识图谱推理模型训练服务对应的处理资源执行如下步骤：
[0023]获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从所述预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
[0024]在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
[0025]在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
[0026]在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
[0027]根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初
始向量表示；
[0028]根据所述向量表示集对知识图谱推理模型进行训练。
[0029]在本专利技术实施例提供的知识推理模型训练过程中，可以预先设定多种一阶逻辑结构，接受与任一一阶逻辑结构对应的查询信息作为输入，将训练用的该查询信息按照其对应的第一一阶逻辑结构转换为多元组形式，相应的第一多元组内包含至少一个锚实体节点、至少一个关系和目标实体节点。之后，通过临域扩散策略进行实体特征层面的增强(向量表示优化)以及逻辑层面的逻辑结构扩展(逻辑增强)处理，实现实体节点对应的向量表示的优化以及扩展更多的一阶逻辑结构，实现训练样本扩展。从而，通过上述表征建立和逻辑增强处理，使得知识图谱推理模型能够基于更加优化的实体节点的向量表征学习到更多未见过的一阶逻辑结构的样本多元组，提高了知识图谱推理模型针对未见过的一阶逻辑结构的泛本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识图谱推理模型训练方法，其特征在于，包括：获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；根据所述向量表示集对知识图谱推理模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点，包括：在所述知识图谱中确定所述第一多元组中所述至少一个锚实体节点各自的入方向的临实体节点，以及确定所述目标实体节点的出方向和入方向的临实体节点。3.根据权利要求1所述的方法，其特征在于，所述在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，包括：在所述知识图谱中确定所述目标多元组中任一实体节点的出方向和入方向的临实体节点。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预先训练的知识图谱嵌入模型，获取所述目标多元组和所述知识图谱中包含的各实体节点的第一向量表示；其中，所述知识图谱嵌入模型的训练过程包括：获取目标三元组，所述目标三元组中包括头实体节点、关系和尾实体节点；其中，所述目标三元组包括所述知识图谱内包含的三元组，或者，所述目标三元组包括所述知识图谱内包含的三元组以及从所述目标多元组中拆分出的三元组；对所述头实体节点的初始向量表示和所述关系的初始向量表示的拼接结果进行多个卷积层的卷积操作，以得到融合向量表示；根据所述融合向量表示与所述拼接结果的加和结果，确定所述尾实体节点的目标向量表示；根据所述目标向量表示与所述尾实体节点的初始向量表示，确定用于训练所述知识图谱嵌入模型的损失函数值。5.根据权利要求1所述的方法，其特征在于，所述根据所述向量表示集对知识图谱推理模型进行训练，包括：将所述向量表示集和所述目标多元组对应的目标一阶逻辑结构的标识信息发送至预设的提示网络模型，以使所述提示网络模型确定与所述目标一阶逻辑结构对应的提示向量
以及所述提示向量与所述向量表示集中包含的各锚实体节点的第二向量表示和各关系的初始向量表示的融合结果；将所述融合结果输入所述知识图谱推理模型，以得到所述知识图谱推理模型输出的与所述目标实体节点对应的预测向量表示；根据所述预测向量表示与所述向量表示集中包含的所述目标实体节点的第二向量表示，确定所述目标多元组对应的目标损失函数值，以根据所述目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述预测向量表示与所述向量表示集中包含的所述目标实体节点的第二向量表示，确定所述目标多元组对应的目标损失函数值，包括：在所述知识图谱中确定与所述目标多元组对应的非目标实体节点以及确定所述非目标实体节点对应的第一向量表示，所述非目标实体节点与所述目标多元组中所述至少一个锚实体节点和所述目标实体节点不同，所述第一向量表示是基于预先训练的知识图谱嵌入模型获得的；根据所述预测向量表示与所述目标实体节点的第二向量表示确定第一损失函数值，以及根据所述预测向量表示与所述非目标实体节点的第一向量表示确定第二损失函数值；根据所述第一损失函数值和所述第二损失函数值确定所述目标多元组对应的第一目标损失函数值，以根据所述第一目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。7.根据权利要求6所述的方法，其特征在于，所述目标多元组是相应目标一阶逻辑结构对应的训练集中的任一多元组，所述目标一阶逻辑结构是多种一阶逻辑结构中的一种；所述根据所述第一目标损失函数值训练所述知识图谱推理模型和所述提示网络模型，包括：根据当前一轮迭代训练过程中，所述目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定所述当前一轮迭代训练过程中所述目标一阶逻辑结构对应的第二目标损失函数值；根据所述当前一轮迭代训练过...

【专利技术属性】
技术研发人员：谢晓颖，龚镖，吕逸良，赵德丽，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：