一种基于门控图神经网络的序列关系预测方法以及装置制造方法及图纸

本公开是关于一种基于门控图神经网络的序列关系预测方法、装置、电子设备以及存储介质。其中，该方法包括：将待预测的序列关系进行预处理；基于双邻接矩阵生成特征图，基于介数中心性算法生成初始特征；根据门控图神经网络模型生成全局特征；基于注意力机制建立节点间关系模型生成局部特征；将所述待预测的序列关系的全局特征及局部特征拼接生成所述待预测的序列关系的拼接特征，根据所述待预测的序列关系的拼接特征完成对所述待预测的序列关系的节点预测。本公开通过门控图神经网络可以获得不同节点间的隐层关系及新的损失函数，提高了序列关系预测模型的健壮性和准确率。了序列关系预测模型的健壮性和准确率。了序列关系预测模型的健壮性和准确率。

【技术实现步骤摘要】
一种基于门控图神经网络的序列关系预测方法以及装置


[0001]本公开涉及数据预测领域，具体而言，涉及一种基于门控图神经网络的序列关系预测方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]序列关系预测在各个领域(知识图谱、推荐系统、社交网络、医药医疗)都有很好的应用和发展，随着算力的发展、深度学习的崛起GNN、RNN 作为深度学习中被广泛应用的模型在关系预测领域也有了很大的发展。大规模的数据是当下深度学习的咽喉，面临收集成本昂贵，甚至根本无法采集的弊端，对于众多研究来说，真正能够收集到大量样本的是极少数情况，因此关系预测研究意义重大。
[0003]当前序列关系预测主要的技术有传统时序建模方法如ARMA、线性回归方法、深度学习方法如递归神经网络(RNN)等。ARMA模型是最常用的平稳序列拟合模型，随机变量的取值不仅与以前期的序列值有关还与前期的随机扰动有关；线性回归方法主要提取时间的周期性特点做为特征，此时训练集每条样本为"时间特征
‑
>目标值"，时间序列的依赖关系被剔除，不需要严格依赖滑窗截取训练样本；递归神经网络(RNN)方法相比与普通神经网络的各计算结果之间相互独立的特点，RNN的每一次隐含层的计算结果都与当前输入以及上一次的隐含层结果相关。通过这种方法，RNN的计算结果便具备了记忆之前几次结果的特点。可以利用此特点来解决关系预测问题。
[0004]上述现有技术仍存在一定的局限性：数据收集成本昂贵，甚至根本无法采集，对于众多研究来说，真正能够收集到大量样本的是极少数情况。因此真正获得到的序列数据很可能存在小规模的问题，如果一个序列里没有足够多的数据，深度学习、线性回归方法会面临过拟合的问题，无法完成有效的预测；当前的方法没有将序列数据复杂的局部信息和全局信息加入到预测的考虑中去。在序列数据中，不同的数据之间往往不是简单的线性关系，现有关系忽略了不同数据之间的复杂转换。因此合适的方法是将序列数据转化为图的拓扑结构来考虑；当前方法对没有考虑到序列数据中的不同优先级。序列数据中的不同节点以同样的优先级考虑，会使得有效的数据被削弱而无用数据会被放大，预测效果差。
[0005]因此，需要一种或多种方法解决上述问题。
[0006]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0007]本公开的目的在于提供一种基于门控图神经网络的序列关系预测方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
[0008]根据本公开的一个方面，提供一种基于门控图神经网络的序列关系预测方法，包括：
[0009]将待预测的序列关系进行数据清洗及特征提取，生成低噪音的序列关系数据；
[0010]将所述低噪音的序列关系数据基于双邻接矩阵进行图表征建模，生成所述低噪音的序列关系数据对应的特征图，并基于介数中心性算法根据所述特征图生成所述待预测的序列关系的初始特征；
[0011]基于预设门控图神经网络模型，根据所述待预测的序列关系的初始特征生成所述待预测的序列关系的全局特征；
[0012]基于预设注意力机制的节点间关系模型，并根据所述待预测的序列关系的初始特征生成所述待预测的序列关系的局部特征；
[0013]将所述待预测的序列关系的全局特征及局部特征拼接生成所述待预测的序列关系的拼接特征，根据所述待预测的序列关系的拼接特征完成对所述待预测的序列关系的节点预测。
[0014]在本公开的一种示例性实施例中，所述方法还包括：
[0015]将所述低噪音的序列关系数据基于双邻接矩阵进行图表征建模，生成所述低噪音的序列关系对应的特征图，为所述特征图构建出度矩阵、入度矩阵，并将所述出度矩阵、入度矩阵进行归一化处理。
[0016]在本公开的一种示例性实施例中，所述方法还包括：
[0017]基于介数中心性算法根据所述特征图生成所述待预测的序列关系的初始特征；
[0018]其中，σ
st
(v)表示经过节点v的s
→
t的最短路径条数,σ
st
表示s
→
t的最短路径条数。
[0019]在本公开的一种示例性实施例中，所述方法还包括：
[0020]建立门控图神经网络模型；
[0021]根据所述待预测的序列关系的初始特征生成门控图神经网络的输入向量为其中，为t
‑
1时刻所有节点特征拼接形成的D|V|维向量，g为包含n个节点的目标图，b为神经网络中的偏置项；
[0022]将所述门控图神经网络的输入向量输入至门控图神经网络的遗忘门生成待储存向量；
[0023]将所述待储存向量输入记忆门中储存，并基于Sigmiod函数的输出层作为输出，生成所述待预测的序列关系的全局特征s1，其中，tanh为双曲正切函数，W
z
、 U
z
、W
O
为可训练的参数，W
r
，U
r
为可训练的参数利用输出门确定的输出值。
[0024]在本公开的一种示例性实施例中，所述方法还包括：
[0025]基于注意力机制建立节点间关系模型；
[0026]根据所述待预测的序列关系的初始特征，基于结点的注意力权重α
i
＝q
T
σ(W1v
n
+W2v
i
+c)，对节点添加注意力，获取得到全局的向量嵌入结果，生成所述待预测的序列关系的
局部特征其中，W1、 W2、q为注意力机制中可训练权重，σ为节点的最短路径条数，v
i
为节点特征拼接形成维向量。
[0027]在本公开的一种示例性实施例中，所述方法还包括：
[0028]将所述待预测的序列关系的全局特征及局部特征拼接生成所述待预测的序列关系的拼接特征s
h
＝W3[s1；s
g
]，其中，W3为可训练矩阵。
[0029]在本公开的一种示例性实施例中，所述方法还包括：
[0030]根据所述待预测的序列关系的拼接特征s
h
和候选节点计算得分z,基于 Softmax得到预测输出完成对所述待预测的序列关系的节点预测，其中为最后的预测得分。
[0031]在本公开的一个方面，提供一种基于门控图神经网络的序列关系预测装置，包括：
[0032]预处理模块，用于将待预测的序列关系进行数据清洗及特征提取，生成低噪音的序列关系数据；
[0033]初始特征生成模块，用于将所述低噪音的序列关系数据基于双邻接矩阵进行图表征建模，生成图表征模型，并基于介数中心性算法根据所述图表征模型生成所述待预测的序列关系的初始特征；
[0034]全局特征生成模块，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门控图神经网络的序列关系预测方法，其特征在于，所述方法包括：将待预测的序列关系进行数据清洗及特征提取，生成低噪音的序列关系数据；将所述低噪音的序列关系数据基于双邻接矩阵进行图表征建模，生成所述低噪音的序列关系数据对应的特征图，并基于介数中心性算法根据所述特征图生成所述待预测的序列关系的初始特征；基于预设门控图神经网络模型，根据所述待预测的序列关系的初始特征生成所述待预测的序列关系的全局特征；基于预设注意力机制的节点间关系模型，并根据所述待预测的序列关系的初始特征生成所述待预测的序列关系的局部特征；将所述待预测的序列关系的全局特征及局部特征拼接生成所述待预测的序列关系的拼接特征，根据所述待预测的序列关系的拼接特征完成对所述待预测的序列关系的节点预测。2.如权利要求1所述的方法，其特征在于，在生成所述低噪音的序列关系数据对应的特征图之后，所述方法还包括：为所述特征图构建出度矩阵、入度矩阵，并将所述出度矩阵、入度矩阵进行归一化处理；所述基于介数中心性算法根据所述特征图生成所述待预测的序列关系的初始特征，包括：基于介数中心性算法根据所述特征图的归一化处理后的出度矩阵、入度矩阵生成所述待预测的序列关系的初始特征。3.如权利要求1所述的方法，其特征在于，所述介数中心性算法表示为：其中，C
B
为节点介数中心性距离，σ
st
(v)表示经过节点v的s
→
t的最短路径条数，σ
st
表示s
→
t的最短路径条数。4.如权利要求1所述的方法，其特征在于，所述方法还包括：建立门控图神经网络模型；根据所述待预测的序列关系的初始特征生成门控图神经网络的输入向量为其中，为t
‑
1时刻所有节点特征拼接形成的D|V|维向量，g为包含n个节点的目标图，b为神经网络中的偏置项；将所述门控图神经网络的输入向量输入至门控图神经网络的遗忘门生成待储存向量；将所述待储存向量输入记忆门中储存，并基于Sigmiod函数的输出层作为输出，生成所述待预测的序列关系的全局特征s1，其中，tanh为双曲正切函数，W
z
、U
z
、W
O
为可训练的参数，W
r
，U
r
为可训练的参数利用输出门确定的输出值。5.如权利要求1所述的方法，其特征在于，所述方法还包括：基于注意力机制建立节点间关系模型；
根据所述待预测的序列关系的初始特征，基于结点的注意力权重α
i
＝q
T
σ(W1v
n
+W2v
...

【专利技术属性】
技术研发人员：陶建华，石晨希，杨国花，张大伟，温正棋，
申请(专利权)人：中科极限元杭州智能科技股份有限公司，
类型：发明
国别省市：