一种基于元学习的稀疏知识图谱嵌入方法和装置制造方法及图纸

一种基于元学习的稀疏知识图谱嵌入方法，包括：步骤1、根据知识图谱中实体所含三元组数量划分头部实体集和尾部实体集；步骤2、将头部实体集进行拆分，以准备数据对MetaTransfer元学习迁移框架进行训练；步骤3、采用传统知识图谱表征模型根据现有三元组集合对各实体进行向量表征；步骤4、将步骤三得到的few

【技术实现步骤摘要】
一种基于元学习的稀疏知识图谱嵌入方法和装置


[0001]本专利技术属于数据挖掘算法应用
，涉及一种基于元学习的稀疏知识图谱嵌入方法。

技术介绍

[0002]现实世界中，数据往往呈现稀疏性，信息表达的丰富性也往往带有偏好，例如网络上可供查询的名人信息比普通人要多，并且受限于知识抽取方法本身性能问题或者暗含的常识信息并不会出现在自然语料中等问题。导致大量的普通实体和关系具有极少的可供训练的三元组，而少部分广泛出现的实体却占据绝大部分三元组。因此现实世界中的稀疏知识图谱数据集中的实体和关系往往呈现明显的长尾分布。绝大部分关系仅包含极少的三元组个数，因此其并不能并不能被很好的训练。现有的一些研究工作主要聚焦于关系的长尾效应，采用的普遍框架为采用实体对对关系进行表征，但实体的长尾效应更加严重，因此很难采用未被准确训练的实体对关系进行良好准确的表征。因此有必要解决实体和关系中的长尾效应，从而解决尾部实体的稀疏性。同时，由于尾部的稀疏性也会导致模型在训练过程向头部数据进行过度适应，从而忽视对尾部数据的推理和表征，但尾部实体占比远高于头部实体。但现在并未本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习的稀疏知识图谱嵌入方法，其特征在于，包括以下步骤：步骤1、根据知识图谱中实体所含三元组数量划分头部实体集和尾部实体集；步骤2、将头部实体集进行拆分，以准备数据对MetaTransfer元学习迁移框架进行训练；步骤3、采用传统知识图谱表征模型根据现有三元组集合对各实体进行向量表征；步骤4、将步骤三得到的few
‑
shot向量表征输入MetaTransfer进行训练得到更高一级shot的表征向量，使其学习到few shot表征向量到many shot表征向量的映射过程；步骤5、结束训练，使用训练好的模型来对尾部实体集合T
k
的各实体表征向量进行迁移。2.如权利要求1所述的一种基于元学习的稀疏知识图谱嵌入方法，其特征在于，步骤1具体包括：根据数据集中实体所包含三元组的数量固定拆分为头部实体集和尾部实体集，头尾部实体集分别指代实体长尾分布中的长部和尾部，而非头实体和尾实体，设定超过k个训练样本(h，r，t)的实体为头部实体集，设为H
k
，低于k个训练样本的集合为尾部实体集，设为T
k
。3.如权利要求1所述的一种基于元学习的稀疏知识图谱嵌入方法，其特征在于，步骤2具体包括：将头部实体集中实体所包含的所有三元组分割成以2为倍数的集合，h实体有n个三元组，则将拆分为{1，21，2
i
，2
N
}；该集合所包含的做大三元组数量为2
N
＝k；这限定了头部实体集中所有实体的三元组数量都必然有一个集合；当h实体有16个三元组时，且N＝3，则将进行如下拆分：{8，4，2，1}。4.如权利要求1所述的一种基于元学习的稀疏知识图谱嵌入方法，其特征在于，步骤3具体包括：采用知识图谱表征模型对头部实体集中实体进行初步向量表征，预设知识图谱表征模型为E(
·
)，其在给定三元组集合{h，l，t}下能够学习到各实体的向量表征：首先采用H
k
数据训练E(H
k
)得到各实体的many shot向量表征：例如E(
·
)为TransE的情况下，其训练损失如下：l＝∑
(h，l，t)∈S
∑
(h
′
，l，t
′
)∈S
′
[γ+d(h+l，t)
‑
d(h
′
+l，t
′
)]
+
，
ꢀꢀꢀꢀ
(1)。5.如权利要求1所述的一种基于元学习的稀疏知识图谱嵌入方法，其特征在于，步骤4具体包括：设计元学习迁移框架MetaTransfer，框架模型由多个transformer组成，将步骤二得到的头部实体拆分集合作为输入，其中只有一个三元组的集合得到的表征向量称为1
‑
shotθ，N个三元组的集合所得到的表征向量称为N
‑
shotθ；头部实体集合中的各shotθ按照从小到大挨个输入MetaTransfer；使得其学习从few shot到many shot的向量参数映射过程，使得尾部实体的表征向量得以从few shot迁移至mawny shot，因此该网络严格遵循...

【专利技术属性】
技术研发人员：李超，张钊，姚远舟，
申请(专利权)人：之江实验室，
类型：发明
国别省市：