当前位置: 首页 > 专利查询>清华大学专利>正文

基于知识蒸馏的知识图谱对齐方法、装置及设备制造方法及图纸

技术编号:33089192 阅读:18 留言:0更新日期:2022-04-15 10:59
本发明专利技术提供一种基于知识蒸馏的知识图谱对齐方法、装置及设备,方法通过获取待对齐知识图谱集合,所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱,每个所述待对齐知识图谱中包括至少一个实体;输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐;其中,所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的,通过基于知识图谱对齐模型来进行实体对齐,与单纯的学习知识嵌入或邻域共识相比,在对齐过程中,知识图谱对齐模型由于结合具体的实体,能够更好地利用到关系语义信息,从而更好地实现实体对齐。从而更好地实现实体对齐。从而更好地实现实体对齐。

【技术实现步骤摘要】
基于知识蒸馏的知识图谱对齐方法、装置及设备


[0001]本专利技术涉及知识图谱
,尤其涉及一种基于知识蒸馏的知识图谱对齐方法、装置及设备。

技术介绍

[0002]在知识图谱领域,实体对齐是一项基本的任务。已有的采用嵌入式模型的方法,通常是首先学习知识图谱的嵌入表示,然后通过度量实体嵌入表示之间的相似性来进行实体的对齐。
[0003]然而,由于学习知识嵌入与邻域共识两种方法的目标不同所造成的过拟合问题,已有的方法不能很好地利用关系语义信息。

技术实现思路

[0004]本专利技术提供一种基于知识蒸馏的知识图谱对齐方法、装置及设备,用以解决现有技术中知识图谱对齐存在过拟合的缺陷,实现能够很好的利用关系语义信息进行对齐,解决过拟合的缺陷。
[0005]本专利技术提供一种基于知识蒸馏的知识图谱对齐方法,包括:
[0006]获取待对齐知识图谱集合,所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱,每个所述待对齐知识图谱中包括至少一个实体;
[0007]输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐;其中,所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。
[0008]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述知识图谱对齐模型包括输入层、中间层和输出层;
[0009]对应的,所述输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐,包括:
[0010]通过所述输入层将所述待对齐知识图谱集合输入至所述中间层;
[0011]通过所述中间层将所述待对齐知识图谱集合中不同的所述待对齐知识图谱中的相同实体进行对齐,得到对齐的结果;
[0012]通过所述输出层将对齐后的结果进行输出。
[0013]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述中间层包括门控图卷积网络、知识嵌入网络、邻域共识网络和关系知识蒸馏网络;
[0014]所述知识图谱对齐模型的训练过程,包括:
[0015]通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示;
[0016]基于所述向量表示,通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示,得到教师网络;
[0017]基于所述向量表示,通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示,得到学生网络;
[0018]通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示,得到知识图谱对齐模型。
[0019]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示,包括:
[0020]识别所述待对齐知识图谱中的实体特征矩阵;
[0021]基于前向传播和门控机制将所述实体特征矩阵中的实体信息进行传递,以将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示。
[0022]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述基于所述向量表示,通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示,得到教师网络,包括:
[0023]基于所述向量表示,对所述图结构信息中的三元组进行正则化处理,得到评分函数;
[0024]根据所述评分函数和所述图结构信息中实体和关系的嵌入表示,得到知识嵌入损失函数作为教师网络。
[0025]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述基于所述向量表示,通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示,得到学生网络,包括:
[0026]基于所述向量表示,计算不同的图结构信息中相同的实体与实体之间的相似度度量;
[0027]根据所述相似度度量和所述图结构信息中实体的嵌入表示,得到邻域共识损失函数作为学生网络。
[0028]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示,得到知识图谱对齐模型,包括:
[0029]分别采集所述教师网络中的实体样本和所述学生网络中的实体样本;
[0030]利用能量函数计算所述教师网络中的实体样本与所述学生网络中的实体样本之间的距离度量;
[0031]根据所述距离度量,得到蒸馏损失函数;
[0032]调整所述蒸馏损失函数和所述邻域共识损失函数在训练中的权重,得到目标损失函数作为知识图谱对齐模型。
[0033]根据本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法,所述根据所述距离度量,得到蒸馏损失函数,包括:
[0034]对所述距离度量进行分段;
[0035]基于所述分段后的结果利用分段函数得到蒸馏损失函数。
[0036]本专利技术还提供一种基于知识蒸馏的知识图谱对齐装置,包括:
[0037]获取模块,用于获取待对齐知识图谱集合,所述待对齐知识图谱集合至少包括两个不同的待对齐知识图谱,每个所述待对齐知识图谱中包括至少一个实体;
[0038]对齐模块,用于输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐;其中,所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。
[0039]本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于知识蒸馏的知识图谱对齐方法的步骤。
[0040]本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于知识蒸馏的知识图谱对齐方法的步骤。
[0041]本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于知识蒸馏的知识图谱对齐方法的步骤。
[0042]本专利技术提供的一种基于知识蒸馏的知识图谱对齐方法、装置及设备,方法通过获取待对齐知识图谱集合,所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱,每个所述待对齐知识图谱中包括至少一个实体;输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐;其中,所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的,通过基于知识图谱对齐模型来进行实体对齐,与单纯的学习知识嵌入或邻域共识相比,在对齐过程中,知识图谱对齐模型由于结合具体的实体,能够更好地利用到关系语义信息,从而更好地实现实体对齐。
附图说明
[0043]为了更清楚地说明本专利技术或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的知识图谱对齐方法,其特征在于,包括:获取待对齐知识图谱集合,所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱,每个所述待对齐知识图谱中包括至少一个实体;输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐;其中,所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。2.根据权利要求1所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述知识图谱对齐模型包括输入层、中间层和输出层;对应的,所述输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐,包括:通过所述输入层将所述待对齐知识图谱集合输入至所述中间层;通过所述中间层将所述待对齐知识图谱集合中不同的所述待对齐知识图谱中的相同实体进行对齐,得到对齐的结果;通过所述输出层将对齐后的结果进行输出。3.根据权利要求2所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述中间层包括门控图卷积网络、知识嵌入网络、邻域共识网络和关系知识蒸馏网络;所述知识图谱对齐模型的训练过程,包括:通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示;基于所述向量表示,通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示,得到教师网络;基于所述向量表示,通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示,得到学生网络;通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示,得到知识图谱对齐模型。4.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示,包括:识别所述待对齐知识图谱中的实体特征矩阵;基于前向传播和门控机制将所述实体特征矩阵中的实体信息进行传递,以将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示。5.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述基于所述向量表示,通过所述知识嵌入网络学习每个所述图结构信息中...

【专利技术属性】
技术研发人员:张勇李昕航李欣李超王霞盛明
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1