System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于参与者图参数广播的图结构数据联邦学习方法技术_技高网

一种基于参与者图参数广播的图结构数据联邦学习方法技术

技术编号:41147849 阅读:10 留言:0更新日期:2024-04-30 18:15
本发明专利技术涉及一种基于参与者图参数广播的图结构数据联邦学习方法,属于联邦学习技术领域。首先,由参与者训练一个节点生成深度学习模型负责生成扩展节点。其次,将参与者看作参与者图的节点,通过计算参与者的扩展节点之间的欧氏距离,判定参与者数据之间是否存在关联,若存在关联,记参与者节点之间存在一条边,以此构建参与者图。在参与者图中,参与者节点与其定长可达简单路径上的有序节点组成联盟。然后,参与者使用图结构数据进行训练,并将参数上传至服务器,服务器将参数广播至联盟参与者进行训练。最后,计算参与者的边际收益作为其贡献权重,通过加权聚合得到全局参数。本发明专利技术有效地提高全局参数的测试精度。

【技术实现步骤摘要】

本专利技术涉及一种基于参与者图参数广播的图结构数据联邦学习方法,属于联邦学习。


技术介绍

1、联邦学习是一种分布式机器学习方法,通过在多个设备或节点上进行模型训练,而无需将原始数据传输到中央服务器,实现保护用户隐私的目的。联邦学习的兴起可以追溯到对数据隐私和安全性的不断关注,尤其是在涉及敏感隐私信息的应用领域,如金融风控、医疗共享等。在上述应用领域中,图结构数据是一种常见的数据类型。相较于图像、文本等数据类型,图结构数据因其节点关联关系能够挖掘更多的潜在信息而受到学者重视。但这种关联关系具有异构性,不同结构的图结构数据包含不同的潜在信息,导致神经网络学习图结构数据信息的训练性能下降。而在严格隐私保护、数据分布式存储且不互通的联邦学习场景中,图结构数据的关联关系遭到破坏,进一步增加了神经网络学习的难度。

2、近年来,在金融风控、保险评估和医疗共享等领域,针对图神经网络有了大量的研究和应用。图神经网络通过聚合图结构数据中邻居节点的数据特征,增强节点之间的关联关系,从而发现聚集性风险。例如:在金融风控领域中,通过将银行账户看作图结构数据的节点,账户信息作为节点特征,账户之间的交易作为节点之间的边,由此构建图结构数据用于异常账户/交易行为的检测。一方面,这些领域迫切需要跨域数据进行模型训练,但其对隐私保护有着严格的要求,上述两项需求促使应用于图结构数据的联邦学习技术的发展;另一方面,参与者数据分布式隔离破坏了图结构数据的关联关系,降低图神经网络在联邦学习场景下的学习性能。如何提高联邦学习在图神经网络训练方面的性能受到工业和学术界的广泛关注。

3、专利“一种基于图数据的个性化联邦学习方法及装置”(专利申请号:202310068461.1,公布号:cn116011597a)公开了一种基于图结构数据的个性化联邦学习方法及装置,包括:(1)各客户端在本地训练阶段嵌入自我图特征,提高个性化本地性能。(2)服务器获得各参与者本地自我图后,将全局平均自我图嵌入到全局模型中,提高其性能。但是,在各参与者数据相互独立的情况下,该方法的自我图特征扩充的信息有限,不利于充分挖掘图结构数据的潜在信息。

4、ke zhang等(subgraph federated learning with missing neighborgeneration,2021,proceedings in neurips:6671-6682)提出在客户端本地训练一个邻居节点生成器,用以生成扩展的节点和边数据,通过在扩展后的本地图结构数据上进行训练来提高性能。但是,该方法仅考虑将扩展后的本地图结构数据作为训练数据,并未考虑通过增强参与者图结构数据之间的关联关系来提高训练性能。

5、综上,面向图结构数据的联邦学习方法在许多领域有着广泛的应用前景,但参与者数据的分布式存储破坏图结构数据的关联关系,导致训练精度降低。现有方法未考虑在隐私保护的原则下,通过增强参与者图结构数据之间的关联关系来提高训练性能。因此,需要一种新的联邦学习方法,增强跨参与者数据之间的关联,汇聚多方图结构数据价值,以获得更优的全局模型性能。


技术实现思路

1、针对上述现有方法的不足,本专利技术提供了一种基于参与者图参数广播的图结构数据联邦学习方法,用以解决现有方法由于参与者数据的分布式存储破坏图结构数据的关联关系,导致训练精度降低的问题。

2、本专利技术的技术方案是:一种基于参与者图参数广播的图结构数据联邦学习方法,包括如下步骤:

3、step1:各参与者独立训练一个节点生成深度学习模型,节点生成深度学习模型负责基于本地图结构数据生成扩展节点,并将扩展节点上传至服务器;

4、step2:服务器计算参与者的扩展节点之间的欧式距离,以此为依据判定两个参与者本地图结构数据之间是否存在关联关系,构建参与者图,参与者图中,每个参与者看作一个参与者节点,每个参与者节点的定长简单路径中的有序节点组成它的联盟;

5、step3:服务器分发初始化参数至各参与者,参与者使用本地图结构数据进行训练,并将训练后的参数上传至服务器;

6、step4:服务器将参与者上传的参数广播至它的联盟进行训练,并计算各轮训练结果的f1分数;

7、step5:服务器根据每轮训练得到的f1分数,基于夏普利理论中的“边际收益”思想计算参与者的贡献权重,通过加权聚合得到最终的全局参数。

8、具体地,step1具体步骤为:

9、step1.1:对于一组总数为|c|的参与者集合删除参与者c持有的本地图结构数据中度为1的节点,得到受损图结构数据其中,和分别是图结构数据中的节点集合和边集合;

10、step1.2:参与者c独立训练一个节点生成深度学习模型,包含一个线性回归模型用来预测扩展节点的数量,和一个图神经网络用来预测扩展节点特征和对应的边,该步骤为有监督训练,使用受损图结构数据作为训练数据,本地图结构数据作为监督真值数据;

11、step1.3:基于本地图结构数据参与者c使用step1.2中训练好的节点生成深度学习模型,生成扩展图结构数据其中,和分别是扩展图结构数据中的扩展节点集合和扩展边集合;

12、step1.4:参与者c将扩展节点集合上传至服务器。

13、具体地,step2具体步骤为:

14、step2.1:参与者图gclient=(vclient,eclient)为连通图,其中,vclient={v1,v2,v3,…,vc}表示参与者集合c对应的参与者节点集合,eclient={(vx,vy)|vx,vy∈vclient}表示参与者图中的边集合,(vx,vy)表示参与者x和参与者y的数据之间存在关联关系,定义相似度阈值为α∈(0,1],广播深度d∈[1,max(l(gclient))),其中,l(gclient)表示计算参与者图gclient中简单通路的长度;

15、step2.2:计算参与者x和参与者y上传的扩展节点集合和之间的欧式距离,记作lx,y;

16、step2.3:若lx,y≤α,则参与者图中增加一条边为(vx,vy),即认为参与者x和参与者y的本地图结构数据之间存在关联关系,依此完成参与者图gclient的构建;

17、step2.4:从参与者节点vc出发,进行深度为d的深度优先搜索,搜索过程中所有可达的参与者节点集合为sc={s|s∈vclient},s表示可达的参与者节点,对于参与者节点vc,定义n跳可达的节点集合为表示参与者节点vc的n跳可达节点,n∈{1,2,3,…,d},特别地,当n=1时,从参与者节点vc出发,终点为参与者节点的简单通路中的有序节点看作vc的一个联盟,记vc联盟集合为联盟数量为|ac|。

18、具体地,step4具体步骤为:

19、step4.1:服务器计算参与者c上传的参数θc在验证数据集上的f1分数,记为fc,并按照联盟中节点顺序,将θc广播至进行本本文档来自技高网...

【技术保护点】

1.一种基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:Step1具体步骤为:

3.根据权利要求1所述的基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:Step2具体步骤为:

4.根据权利要求3所述的基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:Step4具体步骤为:

5.根据权利要求3所述的基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:Step5具体步骤为:

【技术特征摘要】

1.一种基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的基于参与者图参数广播的图结构数据联邦学习方法,其特征在于:step1具体步骤为:

3.根据权利要求1所述的基于参与者图参数广播的图结构数据联邦学习...

【专利技术属性】
技术研发人员:付晓东普骏程刘骊彭玮丁家满贾连印刘利军
申请(专利权)人:昆明理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1