图神经网络传播模型确定方法和系统技术方案

提供了一种图神经网络传播模型确定方法和系统。所述方法包括：基于预设的包括多个候选传播矩阵的候选传播矩阵集，构建与图数据集对应的超网络，其中，所述超网络包括多个层，层与层之间具有多个候选传播路径，各层之间的候选传播路径通过该候选传播路径上所使用的候选传播矩阵来指示，并且对候选传播路径的选择通过与该候选传播路径对应的路径权重来确定；确定所述超网络的最优传播路径，并基于所述最优传播路径获得所述图数据集的最优图神经网络传播模型；基于所述图数据集，对所述最优图神经网络传播模型进行训练；以及利用经过训练的图神经网络传播模型获得所述图数据集的各个图节点的嵌入表示。个图节点的嵌入表示。个图节点的嵌入表示。

【技术实现步骤摘要】
图神经网络传播模型确定方法和系统


[0001]本申请涉及图神经网络技术，更具体地讲，涉及一种图神经网络传播模型确定方法和系统。

技术介绍

[0002]在现实生活领域和科学研究领域中，通常可利用图(Graph)来表示数据，图是一种对单独实体之间的复杂交互进行建模的普遍形式，并且在社交网络分析、推荐系统、药物分发等领域具有广泛的应用。例如，可以利用图来表示交通网络，利用图来表示社交网络，利用图来表示知识图谱，利用图来表示分子结构等。图可包括图节点和边，其中，边表示两个或更多个图节点之间的关系。基于图设计不同的神经网络，解决不同的任务，这是图神经网络(Graph Neural Network，GNN)研究的问题。图神经网络是一类对图进行操作的深度学习模型，并且基于图神经网络的机器学习模型可称为图神经网络模型。
[0003]消息传播(Message
‑
Passing)是图神经网络的基本框架。在这样的框架下，如何给一个学习任务设计传播模型(Propagation Model)，即，选择用什么样子的邻接矩阵与不同层之间相互如何作用，通常是一个需要手动设计的复杂问题。尽管现有的手动设计的传播模型从多个方面增了图神经网络表象性，但是各种各样的现实应用的不同需求可能不能通过固定的传播模型得到满足。例如，在稀疏连接的图或具有少量标记的节点的图中，可能需要长距离的传播来使更多节点的特征平滑，而在密集图中，同一传播模型可能导致过度平滑并且因此无法区分节点表示。
[0004]因此，需要一种能够针对不同的图数据任务自动且快速找出其最适合传播模型的方法。

技术实现思路

[0005]根据本公开的示例性实施例，提供了一种图神经网络传播模型确定方法，所述方法包括：基于预设的包括多个候选传播矩阵的候选传播矩阵集，构建与图数据集对应的超网络，其中，所述超网络包括多个层，层与层之间具有多个候选传播路径，各层之间的候选传播路径通过该候选传播路径上所使用的候选传播矩阵来指示，并且对候选传播路径的选择通过与该候选传播路径对应的路径权重来确定；确定所述超网络的最优传播路径，并基于所述最优传播路径获得所述图数据集的最优图神经网络传播模型；基于所述图数据集，对所述最优图神经网络传播模型进行训练；以及利用经过训练的图神经网络传播模型获得所述图数据集的各个图节点的嵌入表示。
[0006]可选地，确定最优传播路径的步骤可包括：确定所述超网络的最优网络路径权重集合，并基于所述最优网络路径权重集合获得所述最优传播路径。
[0007]可选地，可使用以下表达式(1)来构建所述超网络：
[0008]H
(l)
＝∑
j＜l
f
jl
(H
(j)
)，...(1)
[0009]其中，
[0010][0011]其中，表示所述超网络的第l层的输出，N表示所述图数据集中的节点的数量并且d
l
表示针对所述图数据集的特征的数量，H
(j)
表示所述超网络中在所述第l层之前的第j层的输出并且l和j均是正整数，表示候选传播矩阵集中的第k个候选传播矩阵，表示候选传播矩阵集中的候选传播矩阵的数量，是所述超网络的第l层与第j层之间的所有候选传播路径中的使用第k个候选传播矩阵的候选传播路径的路径权重，层路径权重集合是所述超网络的第l层与第j层之间的所有候选传播路径的路径权重的集合，并且网络路径权重集合是所述超网络中的所有候选传播路径的路径权重的集合，表示与M
k
相关联的隐藏权重矩阵，σ(
·
)是激活函数，且k为正整数，f
jl
(
·
)表示对所述超网络的第l层与第j层之间的所有候选传播路径上所使用的候选传播矩阵与对应路径权重进行组合的混合运算函数，f
jl
(H
(j)
)表示从第j层的输出到第l层的传播步骤。
[0012]可选地，确定所述超网络的最优网络路径权重集合的步骤可包括基于以下表达式(3)来确定所述超网络的最优网络路径权重集合α
*
：
[0013][0014]其中，w表示针对所述图数据集的图神经网络传播模型的模型参数集合并且包括所述隐藏权重矩阵，是训练损失函数并指示使用训练数据集对基于模型参数集合w和网络路径权重集合α的图神经网络传播模型进行模型训练所获得的损失，是验证损失函数并指示使用验证数据集对基于模型参数集合w
*
(α)和网络路径权重集合α的图神经网络传播模型进行验证所获得的损失，w
*
(α)指示基于网络路径权重集合α使最小的图神经网络传播模型的模型参数集合，α
*
指示基于模型参数集合w
*
(α)使最小的最优网络路径权重集合，其中，所述训练数据集和所述验证数据集可以是所述图数据集的子数据集。
[0015]可选地，获得最优传播路径的步骤可包括：确定初始网络路径权重集合和初始模型参数集合；对所述初始网络路径权重集合和初始模型参数集合进行至少一次迭代更新操作，并使用最终更新得到的网络路径权重集合来确定最优传播路径。每次迭代更新操作可包括以下步骤：使用由当前网络路径权重集合的各个层路径权重集合中的最大路径权重构成的最大路径权重集合来采样获得超网络的当前传播路径；基于所述训练损失函数沿获得的传播路径对当前模型参数集合进行更新；基于所述验证损失函数沿获得的传播路径对最大路径权重集合进行更新，并基于更新后的最大路径权重集合中的路径权重来更新当前网络路径权重集合中的对应权重。
[0016]根据本专利技术的另一实施例，提供了一种图神经网络传播模型确定系统，所述系统包括：超网络构建装置，被配置为基于预设的包括多个候选传播矩阵的候选传播矩阵集，构建与图数据集对应的超网络，其中，所述超网络包括多个层，层与层之间具有多个候选传播
路径，各层之间的候选传播路径通过该候选传播路径上所使用的候选传播矩阵来指示，并且对候选传播路径的选择通过与该候选传播路径对应的路径权重来确定；模型确定装置，被配置为确定所述超网络的最优传播路径，并基于所述最优传播路径获得所述图数据集的最优图神经网络传播模型；以及训练装置，被配置为基于所述图数据集，对所述最优图神经网络传播模型进行训练，处理装置，被配置为利用经过训练的图神经网络传播模型获得所述图数据集的各个图节点的嵌入表示。
[0017]可选地，模型确定装置可被配置为确定所述超网络的最优网络路径权重集合，并基于所述最优网络路径权重集合来获得所述最优传播路径。
[0018]可选地，超网络构建装置可被配置为使用以下表达式(1)来构建所述超网络：
[0019]H
(l)
＝∑
j＜l
f
jl
(H
(j)
)，...(1)
[0020]其中，
[0021][0022]其中，表示所述超网络的第l层的输出，N表示所述图数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图神经网络传播模型确定方法，所述方法包括：基于预设的包括多个候选传播矩阵的候选传播矩阵集，构建与图数据集对应的超网络，其中，所述超网络包括多个层，层与层之间具有多个候选传播路径，各层之间的候选传播路径通过该候选传播路径上所使用的候选传播矩阵来指示，并且对候选传播路径的选择通过与该候选传播路径对应的路径权重来确定；确定所述超网络的最优传播路径，并基于所述最优传播路径获得所述图数据集的最优图神经网络传播模型；基于所述图数据集，对所述最优图神经网络传播模型进行训练；以及利用经过训练的图神经网络传播模型获得所述图数据集的各个图节点的嵌入表示。2.如权利要求1所述的方法，其中，确定最优传播路径的步骤包括：确定所述超网络的最优网络路径权重集合，并基于所述最优网络路径权重集合获得所述最优传播路径。3.如权利要求2所述的方法，其中，使用以下表达式(1)来构建所述超网络：H
(l)
＝∑
j＜l
f
jl
(H
(j)
)，...(1)其中，其中，表示所述超网络的第l层的输出，N表示所述图数据集中的节点的数量并且d
l
表示针对所述图数据集的特征的数量，H
(j)
表示所述超网络中在所述第l层之前的第j层的输出并且l和j均是正整数，表示候选传播矩阵集中的第k个候选传播矩阵，表示候选传播矩阵集中的候选传播矩阵的数量，是所述超网络的第l层与第j层之间的所有候选传播路径中的使用第k个候选传播矩阵的候选传播路径的路径权重，层路径权重集合是所述超网络的第l层与第j层之间的所有候选传播路径的路径权重的集合，并且网络路径权重集合α＝{α
jl
}是所述超网络中的所有候选传播路径的路径权重的集合，表示与M
k
相关联的隐藏权重矩阵，σ(
·
)是激活函数，且k为正整数，f
jl
(
·
)表示对所述超网络的第l层与第j层之间的所有候选传播路径上所使用的候选传播矩阵与对应路径权重进行组合的混合运算函数，f
jl
(H
(j)
)表示从第j层的输出到第l层的传播步骤。4.如权利要求3所述的方法，其中，确定所述超网络的最优网络路径权重集合的步骤包括基于以下表达式(3)来确定所述超网络的最优网络路径权重集合α
*
：其中，w表示针对所述图数据集的图神经网络传播模型的模型参数集合并且包括所述隐藏权重矩阵，是训练损失函数并指示使用训练数据集对基于模型参数集合w和网络路径权重集合α的图神经网络传播模型进行模型训练所获得的损失，是验证损失函数并指示使用验证数据集对基于模型参数集合w
*
(α)和网络
路径权重集合α的图神经网络传播模型进行验证所获得的损失，w
*
(α)指示基于网络路径权重集合α使最小的图神经网络传播模型的模型参数集合，α
*
指示基于模型参数集合w
*
(α)使最小的最优网络路径权重集合，其中，所述训练数据集和所述验证数据集是所述图数据集的子数据集。5.如权利要求4所述的方法，其中，获得最优传播路径的步骤包括：确定初始网络路径权重集合和初始模型参数集合；对所述初始网络路径权重集合和初始模型参数集合进行至少一次迭代更新操作，并使用最终更新得到的网络路径权重集合来确定最优传播路径，其中，每次迭代更新操作包括以下步骤：使用由当前网络路径权重集合的各个层路径权重集合中的最大路径权重构成的最大路径权重集合来采样获得超网络的当前传播路径；基于所述训练损失函数沿获得的传播路径对当前模型参数集合进行更新；基于所述验证损失函数沿获得的传播路径对最大路径权重集合进行更新，并基于更新后的最大路径权重集合中的路径权重来更新当前网络路径权重集合中的对应权重。6.一种图神经网络传播模型确定系统，所述系统包括：超网络构建装置，被配置为基于预设的包括多个候选传播矩阵的候选传播矩阵集，构建与图数据集对应的超网络，其中，所述超网络包括多个层，层与层之间具有多个候选传播路径，各层之间的候选...

【专利技术属性】
技术研发人员：姚权铭，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：