基于图上下文的内卷积神经网络知识图谱补全方法技术

本发明专利技术提出基于图上下文的内卷积神经网络知识图谱补全方法，基于图上下文的内卷积神经网络知识图谱补全模型（

【技术实现步骤摘要】
基于图上下文的内卷积神经网络知识图谱补全方法


[0001]本专利技术涉及知识图谱下的知识表示与推理
，尤其是基于图上下文的内卷积神经网络知识图谱补全方法
。

技术介绍

[0002]知识图谱是一种用于表示和组织知识的图结构，它将实体
、
概念和它们之间的关系以图方式呈现出来
。
知识图谱的目标是建立一个结构化的知识数据库，使计算机能够更好地理解和推理关于世界的信息
。
经过数年的发展，知识图谱技术已经是人工智能技术重要的一个组成部分
。
[0003]知识图谱补全，旨在通过学习知识图谱中已有信息，建立关系推理出知识图谱中缺失的知识，使知识图谱的稀疏性降低，内容更加完整
。
知识表示学习是一种有效且可靠的知识图谱补全技术，这几年来，有关知识图谱的表示学习方法层出不穷
。
[0004]近几年来，图卷积网络在建模图形结构化的数据方面取得了令人瞩目的成功
。
知识图谱作为一种复杂的多关系图相比于简单的无向图，是一种更为普遍的图形式，其每条边都带有方向和描述，因此将图卷积网络应用在知识图谱补全领域是非常有价值的
。Vashishth
等人提出的
CompGCN
模型，将图卷积网络与传统的基于卷积神经网络的知识图谱补全模型结合
。Shang
等人提出的
SACN
模型，由加权图卷积网络的编码器和称为
Conv
‑
TransE
的卷积网络的解码器组成，可以调整局部聚合中使用的邻居的信息量
。
但是，
CompGCN
和
SACN
都忽略了实体和关系的交互性，这不可避免地导致了一些信息的丢失
。
而且，知识图谱领域中，卷积神经网络的输入通道往往是单一的，这导致卷积过程中能提取的特征数有限，且往往只能提取到浅层特征
。
[0005]此外，传统的卷积核也存在诸多问题
。
一个问题是，传统的卷积核在同一个输入通道上应用的是完全相同的卷积核，使得它不具备从不同位置发掘不同特征的能力；另一个问题是，传统的卷积核受限于参数大小，往往采用比较小的感受野，这会约束其与大范围特征互动的能力，削弱特征提取能力；最后的问题是，传统的卷积核普遍存在冗余性，部分卷积核的权重参数可能过于稀疏，对模型性能提升的效果有限
。

技术实现思路

[0006]本专利技术提出基于图上下文的内卷积神经网络知识图谱补全方法，充分利用了实体的上下文信息，模型能够挖掘知识图谱中深层次的联系，此外，有效地使用上下文信息增强实体嵌入也使得模型能够实现更精准的预测
。
[0007]本专利技术采用以下技术方案
。
[0008]基于图上下文的内卷积神经网络知识图谱补全方法，所述知识图谱为三元组
G
＝
{(h
，
r
，
t)|(h
，
r
，
t)∈E
×
R
×
E}
的集合，包括实体集合
E
，关系集合
R
，共有
N
个实体和
M
个关系，属于用于表示和组织知识的图结构，其将实体
、
概念和它们之间的关系以图方式呈现出来，
[0009]其中
h
，
t∈E
表示头实体和尾实体，
r∈R
表示关系；给定的三元组
(h
，
r
，
t)
，相应的嵌入为
e
h
,e
r
,e
t
，其中
e
h
,
这里的
d
是嵌入维度，是实数集合；
[0010]所述方法采用基于图上下文的内卷积神经网络知识图谱补全模型
InvoE
；模型的构建和训练包括以下步骤；
[0011]步骤
S1、
通过引入图上下文信息聚合模块来得到训练数据集的上下文信息增强后的实体表示，以充分利用训练数据集的知识图谱中的上下文信息；即：通过加权图卷积神经网络模型聚合上下文信息到每个节点，得到融合上下文信息的实体表示；
[0012]步骤
S2、
为了让实体和关系充分交互，使用实体
‑
关系交互模块，通过多种方式，将实体和关系的表示拼接并重塑成多个不同的二维矩阵；
[0013]步骤
S3、
引入卷积与内卷积模块，使用传统卷积和内卷积两种方式，使得传统卷积和内卷积以串联结构或并联结构集成在一起，构建模型，对输入图提取特征，并得到输出的特征图；
[0014]步骤
S4、
使用三元组评分模块计算侯选实体的最终得分，具体为，先将特征图拉平成向量，之后通过全连接层映射到和实体嵌入相同的维度，最后与所有候选尾实体相乘得到分数，经过激活函数得到最后的得分
。
[0015]步骤
S1
中的图上下文信息聚合模块，基于图卷积的思想，使用加权图卷积神经网络，通过聚合节点的上下文，也就是邻居节点的信息，将上下文融入进实体的嵌入表示，从而得到实体的增强嵌入表示；
[0016]加权图卷积神经网络对于不同的关系边定义一个不同的权重，将每个实体节点作为聚合的中心节点，对于每个中心节点，聚合其邻居节点在层的表示，并将其作为中心节点在
l+1
层的表示，如下述公式一所示：
[0017][0018]其中，是头实体在
l+1
层的表示，是头实体在
l
层的特征表示，是尾实体在
l
层的表示，
α
l
是在
l
层的可学习的权重矩阵，
σ
是
sigmoid
激活函数，
N
i
是头实体
h
的所有邻居尾实体的集合，＊代表具有非交换性的特点的循环相关乘法，能建模不对称关系
。
[0019]步骤
S2
的实体
‑
关系交互模块，具体为：在得到实体的增强嵌入表示后，将和关系的嵌入表示
e
r
重塑成二维矩阵
A
，使实体和关系充分交互，如下述公式二所示：
[0020][0021]其中，代表重塑操作，
[0022]重塑操作的作用是将嵌入和
e
r
变换为矩阵
A
，其中
d
是实体和关系的嵌入维度，
m
和
n
是重塑操作得到的二维矩阵的大小，这里
m
×
n
＝
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于图上下文的内卷积神经网络知识图谱补全方法，其特征在于：所述知识图谱为三元组
G
＝
{(h
，
r
，
t)|(h
，
r
，
t)∈E
×
R
×
E}
的集合，包括实体集合
E
，关系集合
R
，共有
N
个实体和
M
个关系，属于用于表示和组织知识的图结构，其将实体
、
概念和它们之间的关系以图方式呈现出来，其中
h
，
t∈E
表示头实体和尾实体，
r∈R
表示关系；给定的三元组
(h
，
r
，
t)
，相应的嵌入为
e
h
，
e
r
，
e
t
，其中这里的
d
是嵌入维度，是实数集合；所述方法采用基于图上下文的内卷积神经网络知识图谱补全模型
InvoE
；模型的构建和训练包括以下步骤；步骤
S1、
通过引入图上下文信息聚合模块来得到训练数据集的上下文信息增强后的实体表示，以充分利用训练数据集的知识图谱中的上下文信息；即：通过加权图卷积神经网络模型聚合上下文信息到每个节点，得到融合上下文信息的实体表示；步骤
S2、
为了让实体和关系充分交互，使用实体
‑
关系交互模块，通过多种方式，将实体和关系的表示拼接并重塑成多个不同的二维矩阵；步骤
S3、
引入卷积与内卷积模块，使用传统卷积和内卷积两种方式，使得传统卷积和内卷积以串联结构或并联结构集成在一起，构建模型，对输入图提取特征，并得到输出的特征图；步骤
S4、
使用三元组评分模块计算侯选实体的最终得分，具体为，先将特征图拉平成向量，之后通过全连接层映射到和实体嵌入相同的维度，最后与所有候选尾实体相乘得到分数，经过激活函数得到最后的得分
。2.
根据权利要求1所述的基于图上下文的内卷积神经网络知识图谱补全方法，其特征在于：步骤
S1
中的图上下文信息聚合模块，基于图卷积的思想，使用加权图卷积神经网络，通过聚合节点的上下文，也就是邻居节点的信息，将上下文融入进实体的嵌入表示，从而得到实体的增强嵌入表示；加权图卷积神经网络对于不同的关系边定义一个不同的权重，将每个实体节点作为聚合的中心节点，对于每个中心节点，聚合其邻居节点在层的表示，并将其作为中心节点在
l+1
层的表示，如下述公式一所示：其中，0＜
l≤L
，是头实体在
l+1
层的表示，是头实体在
l
层的特征表示，是尾实体在
l
层的表示，
α
l
是在
l
层的可学习的权重矩阵，
σ
是
sigmoid
激活函数，
N
i
是头实体
h
的所有邻居尾实体的集合，＊代表具有非交换性的特点的循环相关乘法，能建模不对称关系
。3.
根据权利要求2所述的基于图上下文的内卷积神经网络知识图谱补全方法，其特征在于：步骤
S2
的实体
‑
关系交互模块，具体为：在得到实体的增强嵌入表示后，将和关系的嵌入表示
e
r
重塑成二维矩阵
A
，使实体和关系充分交互，如下述公式二所示：其中，代表重塑操作，重塑操作的作用是将嵌入和
e
r
变换为矩阵
A
，其中
d
是实体和关系的嵌入维度，
m
和
n
是重塑操作得到的二维矩阵的大小，这里
m
×
n
＝
2d
；重塑方法包括
堆叠
stack
方法：将和
e
r
都重塑为形状为
(m/2)
×
n
的矩阵，并将它们沿其高度堆叠以产生
m
×
n
矩阵
A
stk
；交替
alternate
方法：将和
r
r
都重塑为形状为
(m/2)
×
n
的矩阵，然后交替堆叠和
r
r
的每一行，以此产生
m
×
n
矩阵
A
alt
；混洗
chequer
方法：排列和
r
r
的每一个单元，使得没有两个相邻的单元是同时来自于或
r
r
，以此产生
m
×
n
矩阵
A
che
；乱序
shuffle
方法：以随机的方式排列和
r
r
的每一个单元，以此产生
m
×
n
矩阵
A
ran
；向量乘法
multiply
方法：用和做向量乘法，得到融合实体和关系信息的
d
×
d
矩阵，通过全连接层映射得到
m
×
n
矩阵
A
mul
；步骤
S2
中，通过不同的重塑操作得到多个不同的矩阵，这些矩阵由实体嵌入和关系嵌入产生，是实体嵌入和关系嵌入充分融合的结果
。
得到了实体和关系充分交互后的二维矩阵
A
后，将其作为卷积网络的输入图；再将各个不同重塑方法所生成的不同矩阵
A
拼接起来，作为不同的输入通道，共同构成输入图
X
，
C
是输入图的输入通道个数，以公式表述为
X
＝
concat(A
stk
，
A
alt
，
A
che
，
A
ran
，
A
mul
)
ꢀꢀ
公式三
。4.
根据权利要求3所述的基于图上下文的内卷积神经网络知识图谱补全方法，其特征在于：步骤
S3
中的内卷积中，一个输入通道上的所有坐标位置使用的卷积核都不同，但是不同输入通道的相同坐标位置的卷积核是相同的；步骤
S3
中，一组内卷核表示为被设计为在空间和信道域中包含具有逆特性的变换，其中
K
是内卷积核的大小，一组内卷核有
m
×
n
个大小为
K
×
K
的内卷核；对于大小为
m
×
n
×
C
的输入图，其中
C
是输入通道数
。
在输入图
(i
，
j)
处，通过核生成函数
φ
，生成对应位置的内卷核的中间表示，表示为如下述公式四所示；
H
′

【专利技术属性】
技术研发人员：汪璟玢，杨心逸，
申请(专利权)人：福州大学，
类型：发明
国别省市：