【技术实现步骤摘要】
一种面向消息传递神经网络的Wasserstein质心匹配层方法及产品
[0001]相关申请的交叉引用
[0002]本公开要求在
2023
年
07
月
25
日提交中国专利局
、
申请号为
2023109191840、
名称为“一种面向消息传递神经网络的
Wasserstein
质心匹配层方法及产品”的中国专利申请的优先权，其全部内容通过引用结合在本公开中
。
[0003]本申请实施例涉及神经网络
，具体而言，涉及一种面向消息传递神经网络的
Wasserstein
质心匹配层方法及产品
。
技术介绍
[0004]消息传递神经网络是图分类的代表性方法
。
然而，现有的消息传递神经网络的尺寸泛化能力较差，即在平均图节点数较小的图训练集上训练得到的图分类器在平均图节点数较大的图测试集上表现较差
。
导致现有的消息传递神经网络具有较差尺寸泛化能力的主要原因是其具有一个相对于图节点数的一个较慢的与图信号生成空间维度有关的无法控制的学习收敛速率
。
[0005]为了提升消息传递神经网络的尺寸泛化能力，现有的方案通常对图的生成过程实行强假设，关注各种各样多样性的图分布偏移来提升消息传递神经网络的尺寸泛化能力，然而强假设使得对真实世界中图的适用性下降，同时经常被观测到在真实世界图上性能相对符合假设的合成图上性能剧烈下降
。>因此，如何有效提升消息传递神经网络的尺寸泛化能力，成为本领域技术人员当前亟待解决的问题
。
技术实现思路
[0006]本申请实施例在于提供一种面向消息传递神经网络的
Wasserstein
质心匹配层方法及产品，旨在解决如何有效提升消息传递神经网络的尺寸泛化能力的问题
。
[0007]本申请实施例第一方面提供一种面向消息传递神经网络的
Wasserstein
质心匹配层方法，应用于消息传递神经网络，所述消息传递神经网络包括消息传递神经骨干网络
、Wasserstein
质心匹配层网络以及分类器网络，所述方法包括：
[0008]获取原始图信号；
[0009]将所述原始图信号输入所述消息传递神经骨干网络，得到滤波图信号；
[0010]将所述滤波图信号输入所述
Wasserstein
质心匹配层网络，获取所述滤波图信号与多个类质心之间的
Wasserstein
距离，得到图表示向量，其中，每个类质心用于表征每个图类别在
Wasserstein
空间中的嵌入的质心；
[0011]将所述图表示向量输入所述分类器网络，得到所述原始图信号对应的预测类别
。
[0012]在一种可选的实施方式中，所述多个类质心按照如下方式获取：
[0013]获取训练数据集，所述训练数据集中包含多个不同类别的训练图子集；
[0014]基于每个训练图子集，确定所述每个训练图子集中的训练图数据在所述
Wasserstein
空间中的嵌入；
[0015]基于所述每个训练图子集对应的所述嵌入，确定所述训练图子集对应的类别的类质心，所述类质心为在所述
Wasserstein
空间中的所述嵌入的平均值
。
[0016]在一种可选的实施方式中，将所述滤波图信号输入所述
Wasserstein
质心匹配层网络，获取所述滤波图信号与多个类质心之间的
Wasserstein
距离，得到图表示向量，包括：
[0017]将所述滤波图信号输入所述
Wasserstein
质心匹配层网络，获取所述原始图信号在所述
Wasserstein
空间中的嵌入，作为目标嵌入；
[0018]计算所述目标嵌入与所述每个类质心在所述
Wasserstein
空间中的
Wasserstein
距离；
[0019]将所述
Wasserstein
空间中的所有
Wasserstein
距离组合为所述图表示向量
。
[0020]在一种可选的实施方式中，所述消息传递神经网络的训练过程如下：
[0021]获取训练数据集，所述训练数据集中包含多个不同类别的训练图子集；
[0022]在每一次训练时，基于所述训练数据集中每个所述训练图子集，获取类质心预测值；
[0023]将所述训练数据集中的训练图数据输入初始消息传递神经网络，获取类别预测值；
[0024]计算所述类别预测值与所述训练图数据的类别真值之间的交叉熵损失；
[0025]计算所述类质心预测值与所述训练图子集的类质心真值之间的匹配损失；
[0026]基于所述交叉熵损失以及所述匹配损失，对所述初始消息传递神经网络的可学习参数进行优化；
[0027]基于所述训练数据集对所述初始消息传递神经网络进行训练，得到所述消息传递神经网络
。
[0028]在一种可选的实施方式中，所述消息传递神经网络具有收敛性误差上界，所述收敛性误差上界对应的不等式如下：
[0029][0030][0031][0032]其中，表征所述消息传递神经网络的收敛性误差，为所述消息传递神经网络，为图元消息传递神经网络；表征所述消息传递神经网络的收敛性误差上界，
η
为置信度超参数，
η
∈(0,1)
，
N
为所述原始图信号中的节点数，
C
为训练数据集中的训练图子集的数量，
n
j
表示训练数据集中第
j
类训
练图子集中的训练图数据的数量，
j
＝
1,
…
，
C
；
C1,C2,C2′
,K
′
,C3是与概率集中不等式与所述消息传递神经网络的光滑性相关的常数；
F
L
为所述
Wasserstein
质心匹配层网络向量化的向量维度；
O(
·
)
表示复杂度计算；
[0033]所述收敛性误差上界对应的不等式成立的概率为：
[0034][0035]其中，
P1为所述收敛性误差上界对应的不等式成立的概率，
e
为自然底数
。
[0036]在一种可选的实施方式中，所述消息传递神经网络具有泛化误差上界，所述泛化误差上界对应的不等式如下：
[0037][0038]其中，表征所述消息传递神经网络的泛化误差；为经验风险，
R
exp
为泛化风险；
l
【技术保护点】
【技术特征摘要】
1.
一种面向消息传递神经网络的
Wasserstein
质心匹配层方法，其特征在于，应用于消息传递神经网络，所述消息传递神经网络包括消息传递神经骨干网络
、Wasserstein
质心匹配层网络以及分类器网络，所述方法包括：获取原始图信号；将所述原始图信号输入所述消息传递神经骨干网络，得到滤波图信号；将所述滤波图信号输入所述
Wasserstein
质心匹配层网络，获取所述滤波图信号与多个类质心之间的
Wasserstein
距离，得到图表示向量，其中，每个类质心用于表征每个图类别在
Wasserstein
空间中的嵌入的质心；将所述图表示向量输入所述分类器网络，得到所述原始图信号对应的预测类别
。2.
根据权利要求1所述的面向消息传递神经网络的
Wasserstein
质心匹配层方法，其特征在于，所述多个类质心按照如下方式获取：获取训练数据集，所述训练数据集中包含多个不同类别的训练图子集；基于每个训练图子集，确定所述每个训练图子集中的训练图数据在所述
Wasserstein
空间中的嵌入；基于所述每个训练图子集对应的所述嵌入，确定所述训练图子集对应的类别的类质心，所述类质心为在所述
Wasserstein
空间中的所述嵌入的平均值
。3.
根据权利要求1所述的面向消息传递神经网络的
Wasserstein
质心匹配层方法，其特征在于，将所述滤波图信号输入所述
Wasserstein
质心匹配层网络，获取所述滤波图信号与多个类质心之间的
Wasserstein
距离，得到图表示向量，包括：将所述滤波图信号输入所述
Wasserstein
质心匹配层网络，获取所述原始图信号在所述
Wasserstein
空间中的嵌入，作为目标嵌入；计算所述目标嵌入与所述每个类质心在所述
Wasserstein
空间中的
Wasserstein
距离；将所述
Wasserstein
空间中的所有
Wasserstein
距离组合为所述图表示向量
。4.
根据权利要求1所述的面向消息传递神经网络的
Wasserstein
质心匹配层方法，其特征在于，所述消息传递神经网络的训练过程如下：获取训练数据集，所述训练数据集中包含多个不同类别的训练图子集；在每一次训练时，基于所述训练数据集中每个所述训练图子集，获取类质心预测值；将所述训练数据集中的训练图数据输入初始消息传递神经网络，获取类别预测值；计算所述类别预测值与所述训练图数据的类别真值之间的交叉熵损失；计算所述类质心预测值与所述训练图子集的类质心真值之间的匹配损失；基于所述交叉熵损失以及所述匹配损失，对所述初始消息传递神经网络的可学习参数进行优化；基于所述训练数据集对所述初始消息传递神经网络进行训练，得到所述消息传递神经网络
。5.
根据权利要求1所述的面向消息传递神经网络的
Wasserstein
质心匹配层方法，其特征在于，所述消息传递神经网络具有收敛性误差上界，所述收敛性误差上界对应的不等式如下：
其中，表征所述消息传递神经网络的收敛性误差，为所述消息传递神经网络，为图元消息传递神经网络；表征所述消息传递神经网络的收敛性误差上界，
η
为置信度超参数，
η
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。