一种超图持续学习方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种超图持续学习方法、系统、装置及存储介质，本发明专利技术实施例通过获取超图任务序列，并根据超图任务序列获取已标记顶点和未标记顶点，根据第一预测模型对已标记顶点进行预测，得到预测结果，第一预测模型为已使用过的旧模型，将已标记顶点转换成超点图样本数据对第二预测模型进行训练，得到训练结果，根据预测结果和训练结果确定第二预测模型的参数，根据确定参数的第二预测模型对未标记顶点预测。第二预测模型可应用于第一预测模型适用的超图任务，同时也可应用于新的超图任务。本发明专利技术实施例可广泛应用于数据处理技术领域。域。域。

【技术实现步骤摘要】
一种超图持续学习方法、系统、装置及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种超图持续学习方法、系统、装置及存储介质。

技术介绍

[0002]我们生活中存在着大量的复杂系统，而随着人类社会与信息技术的飞速发展，对这些复杂系统中蕴含的宝贵数据越来越得到重视，而对其的分析处理也越来越得到关注。大部分的复杂系统都可以通过各式各样的复杂网络进行建模描述。而图结构由顶点与边组成，两个顶点之间的连接称为边，是一种复杂的非线性结构，通常适合用于表示具有多对多复杂关系的数据，因此成为了通用的描述复杂网络拓扑的工具；但随着网络规模的日益扩大和连接的复杂多变，出现了许多超大规模的复杂网络，这些网络顶点和边的数量众多，顶点间的关系复杂；而在超图中，一条边可以连接任意数量的顶点，更适合表示节点之间复杂多变的高阶关系，因此超图被提出并应用于复杂网络的建模分析。
[0003]而生活中的复杂网络不是一成不变的，复杂网络的变化都会导致图结构的变化，图结构的变化会导致基于该图结构训练的模型不再适用，基于变化后的图结构训练的模型对原图结构无法适用。

技术实现思路

[0004]有鉴于此，本专利技术实施例的目的是提供一种超图持续学习方法、系统、装置及存储介质，适用于图结构变化的超图的持续学习。
[0005]第一方面，本专利技术实施例提供了一种超图持续学习方法，包括以下步骤：
[0006]获取超图任务序列，并根据所述超图任务序列获取已标记顶点；所述超图任务序列包括已标记顶点和未标记顶点；
[0007]根据第一预测模型对已标记顶点进行预测，得到第一测试结果；所述第一预测模型表征已使用过的旧模型；
[0008]将所述已标记顶点转换为超点图样本数据，所述样本数据为训练集，采用所述训练集对第二预测模型进行训练，得到第二测试结果；
[0009]根据所述第一测试结果和所述第二测试结果计算交叉熵，根据所述第二测试结果计算任务损失函数，并根据所述交叉熵、所述任务损失函数和上一次任务的记忆得分矩阵计算总体损失函数；所述记忆得分矩阵表征所述第一预测模型中的各模型参数的重要程度；
[0010]根据所述总体损失函数调整第二预测模型的模型参数，直至所述总体损失函数满足预设要求，确定第二预测模型的模型参数；
[0011]采用所述模型参数确定后的第二预测模型，对超图任务序列中的所述未标记顶点进行预测，得到预测结果。
[0012]进一步，所述方法还包括，计算本次任务的记忆得分矩阵；具体计算过程如下：
[0013]利用注意力机制对所有顶点之间的拓扑关系进行建模，得到第三模型；
[0014]根据第三模型，确定顶点之间的注意力系数；
[0015]根据所述注意力系数构建各所述顶点的注意力向量；
[0016]根据所述注意力向量计算本次任务的记忆得分矩阵。
[0017]进一步，所述第三模型如下：
[0018][0019]其中，E
ijl
为顶点i和顶点j在第l层的注意力系数；W为超边的权重矩阵；H
i
为所述已标记顶点i与超边集的关联向量；H
j
为所述已标记顶点j与超边集的关联向量；σ是激活函数；为超图谱卷积第l层的参数矩阵的转置矩阵；为已标记顶点i第l
‑
1层的节点嵌入；为已标记顶点j第l
‑
1层的节点嵌入；W为|E|
×
|E|大小的对角矩阵，E表示超边集合；H为
×
|E|大小的关联矩阵，表示顶点集合。
[0020]进一步，所述超点图样本数据包括顶点数和特征维度；将所述已标记顶点转换为超点图样本数据，具体包括：
[0021]将所述已标记顶点的特征维度作为所述超点图样本数据的顶点；
[0022]将所述已标记顶点的特征通道作为所述超点图样本数据的特征维度。
[0023]进一步，所述交叉熵通过以下公式计算得到：
[0024][0025]其中，Q为旧模型对已标记顶点进行预测得到的预测概率矩阵，为根据新模型对已标记顶点进行训练的结果与旧模型对已标记顶点进行预测的结果计算的交叉熵，q
ic
为第一预测模型预测已标记顶点i属于类别c的概率，即第一预测结果，p
ic
为第二预测模型预测已标记顶点i属于类别c的概率，即第二预测结果，m
k+1
为任务T
k+1
的类别数量。
[0026]进一步，通过以下公式计算总体损失函数：
[0027][0028]其中，为本次任务T
k+1
的损失函数，为与任务T
k+1
相关的任务损失函数，为根据第一测试结果和第二测试结果计算的交叉熵，I
i
为第一预测模型中的各模型参数对任务T
i
的记忆得分矩阵，W为本次任务T
k+1
的参数，W
i*
保存了关于任务T
i
的最优参数，λ1为所述交叉熵的权重值，λ2为记忆得分矩阵的权重值。
[0029]进一步，所述超点图样本数据包括超点邻接矩阵，所述超点邻接矩阵表征超图中超边的拓扑信息，所述超点邻接矩阵通过以下方法得到：
[0030]根据各所述已标记顶点的顶点特征确定各所述已标记顶点的顶点特征对所述超边的离散系数；
[0031]根据所述离散系数与预设值确定超边特征及对应的特征向量；
[0032]根据所述特征向量确定超点邻接矩阵。
[0033]第二方面，本专利技术实施例提供了一种超图持续学习系统，包括：
[0034]第一模块，用于获取超图任务序列，并根据所述超图任务序列获取已标记顶点；所述超图任务序列包括已标记顶点和未标记顶点；
[0035]第二模块，用于根据第一预测模型对已标记顶点进行预测，得到第一测试结果；所述第一预测模型表征已使用过的旧模型；
[0036]第三模块，用于将所述已标记顶点转换为超点图样本数据，所述样本数据为训练集，采用所述训练集对第二预测模型进行训练，得到第二预测结果；
[0037]第四模块，用于根据所述第一测试结果和所述第二测试结果计算交叉熵，根据所述第二测试结果计算任务损失函数，并根据所述交叉熵、所述任务损失函数和上一次任务的记忆得分矩阵计算总体损失函数；所述记忆得分矩阵表征所述第一预测模型中的各模型参数的重要程度；
[0038]第五模块，用于根据所述总体损失函数调整第二预测模型的模型参数，直至所述总体损失函数满足预设要求，确定第二预测模型的模型参数；
[0039]第六模块，用于采用所述模型参数确定后的第二预测模型，对超图任务序列中的所述未标记顶点进行预测，得到预测结果。
[0040]第三方面，本专利技术实施例提供了一种超图持续学习装置，包括：
[0041]至少一个处理器；
[0042]至少一个存储器，用于存储至少一个程序；
[0043]当所述至少一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超图持续学习方法，其特征在于，包括以下步骤：获取超图任务序列，并根据所述超图任务序列获取已标记顶点；所述超图任务序列包括已标记顶点和未标记顶点；根据第一预测模型对已标记顶点进行预测，得到第一测试结果；所述第一预测模型表征已使用过的旧模型；将所述已标记顶点转换为超点图样本数据，所述样本数据为训练集，采用所述训练集对第二预测模型进行训练，得到第二测试结果；根据所述第一测试结果和所述第二测试结果计算交叉熵，根据所述第二测试结果计算任务损失函数，并根据所述交叉熵、所述任务损失函数和上一次任务的记忆得分矩阵计算总体损失函数；所述记忆得分矩阵表征所述第一预测模型中的各模型参数的重要程度；根据所述总体损失函数调整第二预测模型的模型参数，直至所述总体损失函数满足预设要求，确定第二预测模型的模型参数；采用所述模型参数确定后的第二预测模型，对超图任务序列中的所述未标记顶点进行预测，得到预测结果。2.根据权利要求1所述的超图持续学习方法，其特征在于，所述方法还包括，计算本次任务的记忆得分矩阵；具体计算过程如下：利用注意力机制对所有顶点之间的拓扑关系进行建模，得到第三模型；根据第三模型，确定顶点之间的注意力系数；根据所述注意力系数构建各所述顶点的注意力向量；根据所述注意力向量计算本次任务的记忆得分矩阵。3.根据权利要求2所述的超图持续学习方法，其特征在于，所述第三模型如下：其中，E
ijl
为顶点i和顶点j在第l层的注意力系数；W为超边的权重矩阵；H
i
为所述已标记顶点i与超边集的关联向量；H
j
为所述已标记顶点j与超边集的关联向量；σ是激活函数；Θ
lT
为超图谱卷积第l层的参数矩阵的转置矩阵；为已标记顶点i第l
‑
1层的节点嵌入；为已标记顶点j第l
‑
1层的节点嵌入；W为|E|
×
|E|大小的对角矩阵，E表示超边集合；H为|V|
×
|E|大小的关联矩阵，v表示顶点集合。4.根据权利要求1所述的超图持续学习方法，其特征在于，所述超点图样本数据包括顶点数和特征维度；将所述已标记顶点转换为超点图样本数据，具体包括：将所述已标记顶点的特征维度作为所述超点图样本数据的顶点；将所述已标记顶点的特征通道作为所述超点图样本数据的特征维度。5.根据权利要求1所述的超图持续学习方法，其特征在于，所述交叉熵通过以下公式计算得到：其中，Q为旧模型对已标记顶点进行预测得到的预测概率矩阵，为根据新模型对已标记顶点进行训练的结果与旧模型对已标记顶点进行预测的结果计算的交叉熵，
q
ic
为第一预测模型预测已标记顶点i属于类别c的概率，p

【专利技术属性】
技术研发人员：李明，杨骁逸，梁吉业，白璐，陈雨婷，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：