【技术实现步骤摘要】
本专利技术属于联邦图神经网络，涉及一种面向联邦图神经网络系统的连接缺失感知训练方法。
技术介绍
1、联邦学习是一种新兴的分布式机器学习范式，在一般分布式机器学习系统的基础上考虑了现实生活中的数据隐私敏感问题和数据孤岛现象。其核心思想是数据持有者在中央服务器的协调下共同训练模型，而数据持有者的数据不需要走出本地，也不需要共享数据。使用联邦学习作为图神经网络训练范式的方法称为联邦图神经网络学习，它可以在多个子图上联合训练强大且可泛化的图模型，而无需实际的数据共享。
2、由于联邦图系统中各个客户端的子图间存在连接，即图神经网络训练时子图节点需要跨客户端聚合邻居节点特征。这与联邦学习范式下数据不能共享的原则相悖。如果忽略这些连接，就会导致系统学习效果不佳。除此之外，在联邦学习中，由于数据持有者经常以不同的方式和偏好收集和生成数据。这意味着来自不同数据持有者的数据是非独立且同分布的。非独立同分布的数据会对联邦学习的收敛速度和准确性产生负面影响。联邦图学习中仍然存在数据异构性问题，并且由于图数据的特殊性，不同子图的图连接结构的存在可能会加剧数据异构性问题。数据异构问题会导致联邦图神经网络学习收敛变慢，精度表现不佳等问题。中国专利“cn116882488一种面向深度图神经网络的联邦学习训练方法和装置”在设计联邦学习训练方法和装置时，将图数据中的跨客户端邻居节点信息进行压缩，由主动客户端发往被动客户端，并由被动客户端使用解码器展开成树状数据补充进图数据。但是该方法未考虑联邦学习系统中数据异质性问题，此外该专利需要获取跨客户端节点id
技术实现思路
1、本专利技术的目的是提供一种面向联邦图神经网络系统的连接缺失感知训练方法，该训练方法既可以解决各个客户端子图间连接缺失问题，又能克服联邦学习数据异质性问题。
2、本专利技术提供一种面向联邦图神经网络系统的连接缺失感知训练方法，所述联邦图神经网络由中央服务器和多个客户端组成，所述训练方法包括：
3、步骤1：为每个客户端设计相同结构的编码器、生成器和本地图神经网络模型，并初始化编码器、生成器和本地图神经网络模型；
4、步骤2：去除每个客户端子图上的部分节点，并去除连接这些节点的边，得到每个客户端的损失子图；
5、步骤3：如果当前生成器的联邦训练轮数等于1，则每个客户端在损失子图上计算节点的特征嵌入，在原子图上计算结构嵌入；否则，跳过此步骤；
6、步骤4：生成器进行本地训练，更新生成器模型参数和本地图神经网络模型参数；
7、步骤5：如果当前生成器的联邦训练轮数等于1，则服务器收集客户端的结构嵌入，并通过余弦相似性方法来计算客户端间结构嵌入的相似性，得到相似性分数；否则，跳过此步骤；
8、步骤6：服务器收集客户端的生成器模型参数和图神经网络模型参数，使用相似性分数来为客户端的参数进行聚合以更新客户端的参数；
9、步骤7：重复步骤3-6，完成生成器的训练，使用生成器生成的邻居节点对原子图进行补全；
10、步骤8：使用生成器补全的子图进行后续解决数据异构问题的联邦图神经网络训练。
11、进一步的，所述步骤1中的编码器由特征编码器enf和结构编码器ens组成；
12、所述特征编码器enf的结构是一个图神经网络模型，生成节点特征嵌入，用于后续邻居节点生成器的本地训练过程，第i个客户端的节点特征嵌入表示为：
13、
14、其中，gi表示第i个客户端的子图；
15、所述结构编码器ens通过计算子图的度矩阵d和邻接矩阵a来捕捉子图的结构嵌入，用于后续邻居节点生成器的联邦训练，第i个客户端的结构嵌入表示为：
16、
17、其中，i表示单位矩阵；
18、进一步的，所述步骤1中的生成器由节点数量生成器和节点特征生成器组成；
19、所述节点数量生成器是线性结构，根据特征嵌入和节点数量生成器参数生成邻居节点数量；节点特征生成器是带有采样器和高斯噪声的全连接网络结构，根据特征嵌入和节点特征生成器参数生成邻居节点特征。
20、进一步的，所述步骤1的本地图神经网络模型是一个k层的graphsage模型。
21、进一步的，所述步骤2具体为：
22、步骤2.1：去除每个客户端i的子图gi上0-50％的节点，且所去除的节点的度数要大于等于子图度数的平均数；
23、步骤2.2：同时去除连接这些节点的边，得到损失子图gi-。
24、进一步的，所述步骤4具体为：
25、步骤4.1：每个客户端将步骤3生成的特征嵌入输入到各自的生成器中，预测生成的邻居节点数量和邻居节点特征；
26、步骤4.2：每个客户端将步骤3生成的特征嵌入输入到本地图神经网络模型，并经过softmax()函数计算，输出预测标签；
27、步骤4.3：生成器进行本地训练的目标是最小损失函数l，所述损失函数l表达式如下：
28、l＝λnln+λflf+λclce
29、
30、
31、
32、其中，ln是节点数量生成器的平均绝对误差损失，lf是节点特征生成器的均方误差损失，lce是客户端图神经网络模型节点分类任务的交叉熵损失；λn、λf和λc为超参数；vi-表示第i个客户端的损失子图的节点集合，|vi-|表示第i个客户端的损失子图的节点数量，表示损失子图的节点v通过节点数量生成器生成的邻居节点数量；nv表示损失子图的节点v实际的邻居节点数量；为和nv的平均绝对误差；表示对向下取整，为损失子图的节点v通过节点特征生成器生成的邻居节点特征，xu为损失子图的节点v的邻居节点u的节点特征，表示和xu的均方误差；n(v)表示损失子图的节点v的邻居节点集合，vi'为第i个客户端的子图中去除的节点集合；yv为损失子图的节点v的真实标签，为损失子图的节点v经客户端本地图神经网络模型预测的标签；
33、步骤4.4：每个客户端更新本地的生成器模型和本地图神经网络模型，所述表达式如下：
34、
35、其中，θi表示第i个客户端的当前的模型参数，θi'表示第i个客户端的更新后的模型参数；η表示学习率，表示损失函数l对模型参数θi的梯度向量。
36、进一步的，所述步骤6中第i个客户端的参数聚合策略表示为：
37、
38、
39、其中，θi表示第i个客户端的模型参数；第i个客户端的模型参数包括生成器模型参数和图神经网络模型参数；生成器模型参数包括节点数量生成器参数θic和节点特征生成器参数θif；θj表示本文档来自技高网...
【技术保护点】
1.一种面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述联邦图神经网络由中央服务器和多个客户端组成，所述训练方法包括：
2.根据权利要求1所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤1中的编码器由特征编码器Enf和结构编码器Ens组成；
3.根据权利要求2所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤1中的生成器由节点数量生成器和节点特征生成器组成；
4.根据权利要求1所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤1的本地图神经网络模型是一个K层的GraphSage模型。
5.根据权利要求1所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤2具体为：
6.根据权利要求2所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤4具体为：
7.根据权利要求6所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤6中第i个客户端的参数聚合策略表示为：
8.
...【技术特征摘要】
1.一种面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述联邦图神经网络由中央服务器和多个客户端组成，所述训练方法包括：
2.根据权利要求1所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤1中的编码器由特征编码器enf和结构编码器ens组成；
3.根据权利要求2所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步骤1中的生成器由节点数量生成器和节点特征生成器组成；
4.根据权利要求1所述的面向联邦图神经网络系统的连接缺失感知训练方法，其特征在于，所述步...
【专利技术属性】
技术研发人员：党慧颖，崔凯慧，李一甲，谷峪，李芳芳，李晓华，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。