一种基于双原型网络的少样本知识推理方法技术

本发明专利技术涉及知识图谱技术领域，其公开了一种基于双原型网络的少样本知识推理方法，解决现有技术的少样本知识图谱补全方案存在的对信息利用不充分的问题，提高少样本知识图谱补全性能。本发明专利技术的方法，首先，基于与任务关系的相似性，通过注意力动态编码实体嵌入；然后，基于实体嵌入，构建查询例及正、负实例的实体对嵌入，用以表征实例；之后，基于查询例同正负实例的相似性，通过注意力聚合获得正负原型表征，最后，计算查询例与正负原型表征的匹配性得分，完成分类推理。本发明专利技术通过双原型网络，不仅强调与正原型表征的相同，还强调与负原型表征的差异，对信息充分利用，实现对查询例的有效判别，适用于少样本知识图谱的少样本知识的推理补全。推理补全。推理补全。

【技术实现步骤摘要】
一种基于双原型网络的少样本知识推理方法


[0001]本专利技术涉及知识图谱
，具体涉及一种基于双原型网络的少样本知识推理方法。

技术介绍

[0002]知识是人类对信息进行处理之后的认识和理解，是对数据和信息的凝练、总结后的成果。图表示一些事物与另一些事物之间相互连接的结构。一张图通常由一些节点和连接这些节点的边组成。图中的节点代表语义实体或概念，边代表节点间的各种语义关系。知识图谱就是用图的形式将知识表示出来，知识图谱对于许多下游应用——例如搜索、知识问答和语义网——至关重要。
[0003]然而，由于大量知识信息来源于文档和网页信息，在从文档提取知识的过程中往往会有偏差，现有知识图谱面临不完整的问题。而知识图谱补全，旨在根据现有事实，推断缺失的事实，如实体之间缺失的关系，让知识图谱变得更加完整。因此，在知识图谱的构建中，知识图谱补全日益重要，是目前人工智能领域的研究热点之一。
[0004]现有的知识图谱补全工作，大多需要大量的实体对来进行关系推断；但是，实际数据集中关系的频率分布通常具有长尾问题，很大一部分关系在知识图谱中只有很少的实体对，因此，处理这些数量有限的实体对的关系是非常重要且具有挑战性的。近年来，基于该问题研究人员做了大量的工作，并由此发展出了少样本知识图谱补全技术，所述少样本知识图谱，也被称为小样本知识图谱，其英文全称为Few
‑
Shot Knowledge Graph。
[0005]目前常见的少样本知识图谱补全方法，可以概括为两类：基于度量的方法和基于优化的方法：
[0006]一、基于度量的方法
[0007]该方法基于相似性度量的预测，学习得到一个良好的特征空间。进一步的讲，其通过支撑实例为每个关系生成通用表示，并将这种通用表示与查询例匹配。而为了生成更丰富的关系表示，相应地利用局部图邻居来增强实体嵌入。比如：论文《One
‑
Shot Relational Learning for Knowledge Graphs》(EMNLP 2018)，提出了一种基于度量小样本的学习方法GMatching，该方法先利用R
‑
GCN为单跳邻居进行编码，捕捉局部图结构信息，然后在长短时记忆网络的指导下将结构实体嵌入模型进行多步匹配，计算相似度得分。比如：论文《Bert
‑
based Knowledge Graph Completion Algorithm for Few
‑
Shot》(Proceedings of the 2nd International Conference on Big Data Economy and Information Management.2021)，提出了B
‑
GMatching方法，引入BERT预训练语言模型来增强GMatching中实体和关系的语义表示。
[0008]二、基于优化的方法
[0009]该方法是将支撑集映射到通用表示，利用元学习在未过度拟合的情况下概括小样本问题。元学习是对多种学习任务进行系统性观察的研究，并从中学习新任务，目标是概括任务的分布，对成批的任务进行优化。比如：论文《Meta relational learning for few
‑
shot link prediction in knowledge graphs》(EMNLP 2019)，提出了一种基于优化的元关系学习框架MetaR，该框架通过在任务之间提取共享知识并将其从一些现有事实转移到不完整的事实中。比如：论文《Adapting meta knowledge graph information for multi
‑
hop reasoning over few
‑
shot relations》(EMNLP 2019)，提出了一种基于优化的元学习方法Meta
‑
KGR，该方法采用元学习进行快速自适应与强化学习，并应用于实体搜索和路径推理领域。
[0010]虽然在少样本知识图谱补全任务上，现有的方法取得了不错的效果，但是仍存在一些问题：首先，这些方法通常将样本视为是彼此孤立的，忽略了样本之间的复杂关联关系；其次，这些方法往往使用单原型网络，通过考虑查询样本与正支持实例之间的匹配度来完成推理任务，没有充分考虑不同类实例之间的鉴别性知识。因此，这些方法对信息利用不充分，在少样本知识图谱补全性能上还有待提升。

技术实现思路

[0011]本专利技术所要解决的技术问题是：提出一种基于双原型网络的少样本知识推理方法，解决现有技术的少样本知识图谱补全方案存在的对信息利用不充分的问题，提高少样本知识图谱补全性能。
[0012]本专利技术解决上述技术问题采用的技术方案是：
[0013]一种基于双原型网络的少样本知识推理方法，包括以下步骤：
[0014]A、训练少样本知识推理模型：
[0015]A1、输入待补全的知识图谱，所述待补全的知识图谱的数据为三元组数据(h，r，t)，其中，h表示头实体，t表示尾实体，r表示头实体和尾实体的关系；根据关系出现的次数阈值，将所述待补全的知识图谱的数据划分为少样本数据和背景数据；
[0016]A2、将少样本数据划分为实例集和查询集；从实例集中，随机选择一组实例作为正实例；然后，基于正实例，采用替换其尾实体的方式，构建一组不同于正实例的实例作为负实例，并由正实例和负实例构成支撑集；以查询集及支撑集所包含实例的实体构建实体集，从背景数据中提取分别以实体集的各实体作为头实体的实例，构成实体集的各实体的邻居集；
[0017]A3、将查询集、支撑集和邻居集所包含实例的数据，采用预训练的知识图谱嵌入模型，转换为实例的初始嵌入；
[0018]A4、针对查询集中的每一个查询例，分别按如下步骤进行匹配：
[0019]A41、基于当前输入的查询例所包含实体以及支撑集所包含实例的实体，构建该查询例的实体子集，并将当前输入的查询例中的关系作为任务关系；
[0020]针对实体子集中的每一个实体，分别计算其邻居集中各实例的关系同所述任务关系的相关性，并以相关性构建其邻居集中各实例的权重，然后，将其邻居集中各实例的尾实体的初始嵌入，采用带权重聚合的方式进行聚合，并基于聚合结果对该实体的初始嵌入进行更新，获得该实体的实体嵌入表征；
[0021]A42、基于步骤A41获得的实体嵌入表征，针对查询例及支撑集所包含实例，分别融合其头实体和尾实体的实体嵌入表征，构建各实例的实体对嵌入表征；
[0022]A43、基于各实例的实体对嵌入表征，分别计算支撑集中各正实例同输入查询例的
相似性，并基于相似性构建各正实例的权重，然后，将各正实例的实体对嵌入表征，采用带权重聚合的方式进行聚合，获得输入查询例的正原型表征；分别计算支撑集中各负实例同输入查询例的相似性，并基于相似性构建各负实例的权重，然后，将各负实例的实体对嵌入表征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双原型网络的少样本知识推理方法，其特征在于，包括以下步骤：A、训练少样本知识推理模型：A1、输入待补全的知识图谱，所述待补全的知识图谱的数据为三元组数据(h，r，t)，其中，h表示头实体，t表示尾实体，r表示头实体和尾实体的关系；根据关系出现的次数阈值，将所述待补全的知识图谱的数据划分为少样本数据和背景数据；A2、将少样本数据划分为实例集和查询集；从实例集中，随机选择一组实例作为正实例；然后，基于正实例，采用替换其尾实体的方式，构建一组不同于正实例的实例作为负实例，并由正实例和负实例构成支撑集；以查询集及支撑集所包含实例的实体构建实体集，从背景数据中提取分别以实体集的各实体作为头实体的实例，构成实体集的各实体的邻居集；A3、将查询集、支撑集和邻居集所包含实例的数据，采用预训练的知识图谱嵌入模型，转换为实例的初始嵌入；A4、针对查询集中的每一个查询例，分别按如下步骤进行匹配：A41、基于当前输入的查询例所包含实体以及支撑集所包含实例的实体，构建该查询例的实体子集，并将当前输入的查询例中的关系作为任务关系；针对实体子集中的每一个实体，分别计算其邻居集中各实例的关系同所述任务关系的相关性，并以相关性构建其邻居集中各实例的权重，然后，将其邻居集中各实例的尾实体的初始嵌入，采用带权重聚合的方式进行聚合，并基于聚合结果对该实体的初始嵌入进行更新，获得该实体的实体嵌入表征；A42、基于步骤A41获得的实体嵌入表征，针对查询例及支撑集所包含实例，分别融合其头实体和尾实体的实体嵌入表征，构建各实例的实体对嵌入表征；A43、基于各实例的实体对嵌入表征，分别计算支撑集中各正实例同输入查询例的相似性，并基于相似性构建各正实例的权重，然后，将各正实例的实体对嵌入表征，采用带权重聚合的方式进行聚合，获得输入查询例的正原型表征；分别计算支撑集中各负实例同输入查询例的相似性，并基于相似性构建各负实例的权重，然后，将各负实例的实体对嵌入表征，采用带权重聚合的方式进行聚合，获得输入查询例的负原型表征；A44、针对输入的查询例，计算其实体对嵌入表征与其正原型表征的正原型匹配得分，计算其实体对嵌入表征与其负原型表征的负原型匹配得分，完成对该查询集的分类推理；A5、基于步骤A4获得查询集中各查询例的推理结果，计算损失函数并进行反向传播训练；A6、重复步骤A2
‑
A5，直至达到设定的训练结束条件，获得训练好的少样本知识推理模型；B、执行知识推理任务：基于待补全知识所对应的实例构建查询集，基于训练阶段输入的知识图谱构建支撑集，将查询集和支撑集输入至训练获得的少样本知识推理模型，获得查询集的查询例的分类信息，并基于查询例的分类信息对知识进行补全。2.如权利要求1所述的一种基于双原型网络的少样本知识推理方法，其特征在于，在步骤A42和步骤A43之间，还包括步骤S1：以查询例及支撑集所包含实例作为节点，构建全连接图；并以步骤A42获得的实体对嵌
入表征作为全连接图的初始节点嵌入；基于全连接图的初始节点嵌入，采用图卷积神经网络，提取全连接图的各节点间的关联性作为全连接图的各节点间边的初始边嵌入；然后，基于全连接图的初始边嵌入，对全连接图的初始节点嵌入进行更新；最后，将全连接图经更新的初始节点嵌入，作为全连接图各节点对应实例的经更新的实体对嵌入表征，并作为步骤A43的输入。3.如权利要求2所述的一种基于双原型网络的少样本知识推理方法，其特征在于，步骤S1中，基于全连接图的初始节点嵌入，采用图卷积神经网络，提取全连接图的各节点间的关联性作为全连接图的各节点间边的初始边嵌入，具体为：点间的关联性作为全连接图的各节点间边的初始边嵌入，具体为：其中，v
p
,v
q
分别表示全连接图中节点p和节点q的初始节点嵌入，表示经图卷积神经网络提取的两节点间的关联性，S
r
表示支撑集中正实例的集合，表示支撑集中负实例的集合，f
pq
为反映节点p和节点q所对应实例是否来自相同集合的标识函数。4.如权利要求2所述的一种基于双原型网络的少样本知识推理方法，其特征在于，步骤S1中，基于全连接图的初始边嵌入，对全连接图的初始节点嵌入进行更新，包括如下步骤：首先，按如下公式，计算获得经过特征传播更新后的节点嵌入表征首先，按如下公式，计算获得经过特征传播更新后的节点嵌入表征其中，σ(
·
)为sigmoid激活函数，φ(
·
)是线性变换函数，V是全连接图的初始节点嵌入，E表示全连接图的初始边嵌入；然后，使用残差机制，按公式：对初始节点嵌入进行更新。5.如权利要求2、3或4述的一种基于双原型网络的少样本知识推理方法，其特征在于，所述图卷积神经网络为引入残差机制并包含四个卷积层的图卷积神经网络。6.如权利要求1所述的一种基于双原型网络的少样本知识推理方法，其特征在于，步骤A41中，针对实体子集中的每一个实体，分别计算其邻居集中各实例的关系同任务关系的相关性，并以相关性构建其邻居集中各实例的权重，然后，将其邻居集中各实例的尾实体的初始嵌入，采用带权重聚合的方式进行聚合，并基于聚合结果对该实体的初始嵌入进行更新，获得该实体的实体嵌入表征，包括如下步骤：A411、计算该实体邻居集中各实例的关系同任务关系的相关性ψ(r
t
,r
n
)；A412、按如下公式，以相关性构建该实体邻居集中各实例的权重α
n
：其中，α
n
表示该实体邻居集中第n个实例的权重，exp(
·
)表示以e为底的指数函数，N
nbr
表示该实体的邻居集，r
n
，r
m
分别表示该实体邻居集中的第n个实例和第m个实例的关系的初始嵌入；
A413、按如下公式，将该实体邻居集中各实例的尾实体的初始嵌入，采用带权重聚合的方式进行聚合：其中，c表示该实体的邻居嵌入聚合表示，e
n
是该实体邻居集中第n个实例的尾实体的初始嵌入；A414、按如下公式，对该实体的初始嵌入进行更新：h
′
＝σ(W1h+W2c)其中，h
′
表示更新后获得的该实体的实体嵌入表征，h表示该实体的初始嵌入，σ(
·
)表示Relu激活函数，W1和W2均为可学习参数。7.如权利要求1或6所述的一种基于双原型网络的少样本知识推理方法，其特征...

【专利技术属性】
技术研发人员：龚敬，惠孛，孙明，张栗粽，闫科，刘桂君，
申请(专利权)人：成都开源众智信息技术有限公司，
类型：发明
国别省市：