基于虚拟状态嵌入的知识图谱补全方法及装置制造方法及图纸

技术编号:37200906 阅读:21 留言:0更新日期:2023-04-20 22:56
基于虚拟状态嵌入的知识图谱补全方法及装置,引入虚拟状态嵌入作为实体和关系间的过渡,以减少实体和关系之间巨大的语义差距,从而提高链接预测性能。为了实现上述过程,本发明专利技术提出了差分聚合模块,该模块通过双信息对偶传播的方式对实体、关系和虚拟状态嵌入进行交互,以动态地传递它们之间的信息,因此能够减少实体和关系间的巨大语义差距,达到信息交互的目的。的目的。的目的。

【技术实现步骤摘要】
基于虚拟状态嵌入的知识图谱补全方法及装置


[0001]本专利技术涉及人工智能的
,尤其涉及一种基于虚拟状态嵌入的知识图谱补全方法,以及一种基于虚拟状态嵌入的知识图谱补全装置。

技术介绍

[0002]知识图谱是知识库的一种主要形式,其中知识通常以图结构的形式存储在知识库中。使用知识图谱已经在人工智能和自然语言处理领域,比如语义分析、信息检索等,取得了巨大成功。知识图谱通常是一个有向图,其节点表示头/尾实体,边表示实体之间的关系。知识图谱中的结构化知识通常以三元组(h,r,t)的形式表示,其中h和t分别表示三元组中的头实体和尾实体,r表示头实体h和尾实体t之间的关系;例如,(法国,首都,巴黎)是三元组的具体表示形式。
[0003]尽管现有的知识图谱已经包括数百万甚至数千万个三元组,但因为仍有很多新兴知识的出现,因此还远远不够完整,从而会严重地阻碍其下游应用的性能。为了解决知识图谱不完整的问题,知识图谱补全的研究应运而生,它旨在通过已知的信息来预测知识图谱中丢失的信息。
[0004]目前越来越多的知识图谱补全方法被提出来,它们通常通过线性或者非线性映射的方式,把实体和关系映射到公共的低维空间中,再经过特定的深度学习模型来预测缺失的信息。现存的知识图谱补全方法大致可分为三类,包括基于翻译的方法、基于语义匹配的方法和基于卷积神经网络的方法。在这些方法中,基于翻译的方法通常是简单且高效的,如TransE、TransH和TransR。其中,TransE最初在一个共同的空间中定义了翻译机制h+r≈t,而TransE很难很好地模拟1对N、N对1和N对N的关系。为了解决这个问题,TransH根据不同的关系为一个实体学习不同的表示。虽然这些方法都取得了很好的效果,但是TransE和TransH都假设实体和关系在同一个空间。
[0005]近年来研究证明,几个实体在实体空间中可能彼此接近,但在关系空间中却相距甚远,这使得一个共同的空间不足以同时建模实体和关系。因此,TransR对实体和关系在不同空间的嵌入进行建模,然后将实体从实体空间投影到相应的关系空间。然而实体和关系只在其特定的空间中完全表达其语义,而TransR忽略了从实体空间到关系空间映射过程而产生的语义损失问题。同时,实体和关系中都包含着丰富的信息,从而有利于它们之间相互的表示学习。比如,两个三元组(苹果,味道,美味)和(苹果,系统,ios)中,关系“味道”和“系统”,分别对应两个三元组中的头实体“苹果”的概念为“水果”和“手机”。
[0006]因此实体和关系间充分的信息交互会促进它们各自的表示学习。然而目前的大多数方法都忽略了实体和关系由于位于不同空间而造成的语义差距的问题,以及很难解决不同空间的信息交互困难的问题。这促使我们探索更加合理,更具表达能力的模型来促进实体和关系之间的交互。

技术实现思路

[0007]为克服现有技术的缺陷,本专利技术要解决的技术问题是提供了一种基于虚拟状态嵌入的知识图谱补全方法,其能够减少实体和关系间的巨大语义差距,达到信息交互的目的。
[0008]本专利技术的技术方案是:这种基于虚拟状态嵌入的知识图谱补全方法,包括以下步骤:
[0009](1)实体和关系的低维特征向量通过混合注意力模块来初步捕捉实体和关系的内在关联性,其中混合注意力模块由通道注意力模块和空间注意力模块组合而成,
[0010]当给定头实体h和关系r,首先将头实体和关系的特征嵌入向量重构为二维矩阵,将重构后的头实体和关系进行拼接操作得到的特征F作为混合注意力模块的输入,用公式表示为:
[0011][0012]其中,表示的是经过混合注意力模块改进的特征;M
c
和M
s
分别表示通道注意力特征图和空间注意力特征图;在对应元素相乘过程中,注意力值被相应地广播:通道注意力值沿空间维度广播,而空间注意力值沿通道维度广播;
[0013](2)在上一步骤得到初步优化的实体和关系特征之后,再将它们输入到设计好的虚拟状态嵌入模块中,使其充分地对实体和关系之间的信息进行交互,其中该模块包括实体分支、关系分支和虚拟状态分支;
[0014](3)在经过几次虚拟状态嵌入模块迭代之后,将增强的实体和关系表示h
n
和r
n
输入到全连接层中,分别获得最优的实体和关系表示和组合以上两个特征表示和来构造缺失的尾实体表示计算过程如下:
[0015][0016]其中W1和W2为可学习的参数;
[0017](4)打分函数f
r
(h,r)计算为:
[0018]f
r
(h,t)=

||M(h,r)

t||2[0019]对于训练过程,使用Adam优化器来最小化交叉熵损失函数,损失函数表示为:
[0020][0021]其中,表示尾实体的备选样本集,y
(h,r,t

)
表示的是正负样本,当为正样本时,取

1,否则为1。
[0022]本专利技术引入虚拟状态嵌入作为实体和关系间的过渡,以减少实体和关系之间巨大的语义差距,从而提高链接预测性能。为了实现上述过程,本专利技术提出了差分聚合模块,该模块通过双信息对偶传播的方式对实体、关系和虚拟状态嵌入进行交互,以动态地传递它们之间的信息,因此能够减少实体和关系间的巨大语义差距,达到信息交互的目的。
[0023]还提供了一种基于虚拟状态嵌入的知识图谱补全装置,该装置包括:
[0024]混合注意力模块,实体和关系的低维特征向量通过混合注意力模块来初步捕捉实
体和关系的内在关联性,其中混合注意力模块由通道注意力模块和空间注意力模块组合而成,
[0025]当给定头实体h和关系r,首先将头实体和关系的特征嵌入向量重构为二维矩阵,将重构后的头实体和关系进行拼接操作得到的特征F作为混合注意力模块的输入,用公式表示为:
[0026][0027]其中,表示的是经过混合注意力模块改进的特征;M
c
和M
s
分别表示通道注意力特征图和空间注意力特征图;在对应元素相乘过程中,注意力值被相应地广播:通道注意力值沿空间维度广播,而空间注意力值沿通道维度广播;
[0028]虚拟状态嵌入模块,在上一步骤得到初步优化的实体和关系特征之后,再将它们输入到设计好的虚拟状态嵌入模块中,使其充分地对实体和关系之间的信息进行交互,其中该模块包括实体分支、关系分支和虚拟状态分支;
[0029]映射模块,其在经过几次虚拟状态嵌入模块迭代之后,将增强的实体和关系表示h
n
和rn输入到全连接层中,分别获得最优的实体和关系表示和组合以上两个特征表示和来构造缺失的尾实体表示计算过程如下:
[0030][0031]其中W1和W2为可学习的参数;;
[0032]评价模块,其打分函数f
r
(h,r)计算为:
[0033]f...

【技术保护点】

【技术特征摘要】
1.基于虚拟状态嵌入的知识图谱补全方法,其特征在于:该方法包括以下步骤:(1)实体和关系的低维特征向量通过混合注意力模块来初步捕捉实体和关系的内在关联性,其中混合注意力模块由通道注意力模块和空间注意力模块组合而成,当给定头实体h和关系r,首先将头实体和关系的特征嵌入向量重构为二维矩阵,将重构后的头实体和关系进行拼接操作得到的特征F作为混合注意力模块的输入,用公式表示为:其中,表示的是经过混合注意力模块改进的特征;M
c
和M
s
分别表示通道注意力特征图和空间注意力特征图;在对应元素相乘过程中,注意力值被相应地广播:通道注意力值沿空间维度广播,而空间注意力值沿通道维度广播;(2)在上一步骤得到初步优化的实体和关系特征之后,再将它们输入到设计好的虚拟状态嵌入模块中,使其充分地对实体和关系之间的信息进行交互,其中该模块包括实体分支、关系分支和虚拟状态分支;(3)在经过几次虚拟状态嵌入模块迭代之后,将增强的实体和关系表示h
n
和r
n
输入到全连接层中,分别获得最优的实体和关系表示和组合以上两个特征表示和来构造缺失的尾实体表示计算过程如下:其中W1和W2为可学习的参数;(4)打分函数f
r
(h,r)计算为:f
r
(h,t)=

||M(h,r)

t||2对于训练过程,使用Adam优化器来最小化交叉熵损失函数,损失函数表示为:其中,表示尾实体的备选样本集,y
(h,r,t

)
表示的是正负样本,当为正样本时,取

1,否则为1。2.根据权利要求1所述的基于虚拟状态嵌入的知识图谱补全方法,其特征在于:所述步骤(1)包括以下分步骤:(1.1)通道注意力模块使用全局最大池化机制、平均池化机制和全连接层来探索实体和关系之间的内在关联性,通道注意力模块表示为:其中,和是通过分别平均池化和最大池化得到的特征图;σ表示的是sigmoid激活函数;(1.2)对于空间注意力模块,通过沿通道轴应用最大和平均池化机制来捕捉空间的内在关系,空间注意力模块表示为:
其中,其中,是通过分别平均池化和最大池化得到的特征图;f3×3表达的是3
×
3卷积操作;最后将沿通道轴分割生成增强的实体和关系表示h1和r1;(1.3)混合注意力模块表示为:h1,r1=HAM([vec
‑1(h);vec
‑1(r)])其中,[,;,]表示特征拼接操作;vec
‑1()表示将向量重构为矩阵的操作;HAM表示的是混合注意力模块。3.根据权利要求2所述的基于虚拟状态嵌入的知识图谱补全方法,其特征在于:所述步骤(2)包括以下分步骤:(2.1)实体特征h1,关系特征r1以及一个尺寸与h1相同的全零张量s1作为输入,分别通过卷积层ConvH1,ConvR1和ConvS1,得到多通道的特征表示和该过程用公式表示为:(2.2)将和分别沿着实体分支、关系分支和虚拟状态分支一起输入到差分聚合模块中,来动态地聚合实体和关系的信息,差分聚合模块利用门控机制来动态的传递三个分支的信息,同时自适应地过滤出有用的信息,该模块分为两部分:信息聚合子模块和信息分散子模块;(2.3)将迭代几次运行虚拟状态嵌入模块,计算过程如下:h
n
,r
n
,s
n
=n*VSEM(h2,r2,s2)其中,h
n
,r
n
和s
n
是h2,r2和s2对应的增强特征表示;n表示虚拟状态嵌入模块迭代次数;VSEM表示的是虚拟状态嵌入模块。4.根据权利要求3所述的基于虚拟状态嵌入的知识图谱补全方法,其特征在于:所述步骤(2.2)中,对于信息聚合子模块,当给定实体表示关系表示和虚拟状态嵌入表示首先应用两个门控函数自适应传播实体、关系的信息,以优化虚拟状态嵌入特征过程计算如下:算如下:其中,f1×1表示1
×
1卷积;σ表示sigmoid激活函数;

表示对应元素相乘操作;为了进一步聚合更有意义的信息来学习虚拟状态嵌入特征利用残差网络来对虚拟状态特征进行优化,计算过程如下:其中,表示求和操作,通过这样的信息聚合操作,虚拟状态嵌入特征s2表达能力得以加强;
对于信息分散子模块,将上一个模块得到的虚拟状态嵌入特征s2中的信息再一次分散传递到实体和关系来改进实体和关系特征表示,该过程计算为:传递到实体和关系来改进实体和关系特征表示,该过程计算为:再次利用残差网络机制对实体和关系特征进行信息补充,如下所示:再次利用残差网络机制对实体和关系特征进行信息补充,如下所示:最后,所有增强的特征h2,r2和s2都被输入到各个分支的下面几层,以便进行进一步的表示学习,过程表示如下:其中,DAM表示的是差分聚合模块。5.根据权利要求4所述的基于虚拟状态嵌入的知识图谱补全方法,其特征在于:所述步骤(3)将以上过程表示为:其中,M为本发明的模型。6.基于虚拟状态嵌入的知识...

【专利技术属性】
技术研发人员:王家普王博岳胡永利贺霞霞孙忠凡尹宝才
申请(专利权)人:北京工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1