一种图数据上的联邦学习优化方法技术

本发明专利技术公开了一种图数据上的联邦学习优化方法，该方法包括：步骤S1、服务器根据预先配置文件，随机初始化必要参数，并将训练轮数T初始化为1；步骤S2、在第T轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端根据指令进行训练；步骤S3、每一客户端相关参数生成本地的个性化补充模型，并进行本地训练，向服务器发送对应的模型参数；步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮模型参数；步骤S5、判断模型是否收敛，若收敛，则结束模型训练，得到模型，否则，令T=T+1，执行步骤S2

【技术实现步骤摘要】
一种图数据上的联邦学习优化方法


[0001]本专利技术涉及计算机
，尤其涉及一种基于图数据上的联邦学习方法。
技术背景
[0002]联邦学习是一种分布式的机器学习算法，并且在一般分布式机器学习的基础上考虑了隐私保护的相关问题。在机器学习算法的应用中，图结构的数据占据了非常重要的地位。比如，在自然语言处理领域，概念与概念的关系可以表示为一种图结构，也就是知识图谱。在短视频推荐领域，用户和用户的分享、评论可以表示为图，用户与视频的浏览、点赞也可以表示为图。现有的联邦学习算法考虑的数据类型主要为图像、自然语言文本和结构化的表格数据，这些数据都是限定在欧几里得空间中的。而图数据不具有规则的欧几里得空间结构，直接将为图像、自然语言文本数据设计的联邦学习算法应用在图数据上，由于对数据的基本假设不匹配，可能出现模型训练效果差、训练精度低、收敛速度慢，甚至可能导致模型不收敛，难以产生有意义的结果。

技术实现思路

[0003]本专利技术的目的在于提供一种基于图数据上的联邦学习方法，提高联邦学习模型训练精度和效率。
[0004]实现本专利技术目的的具体技术方案是：
[0005]一种图数据上的联邦学习优化方法，该方法实施环境包括一个服务器、K个客户端，处理器和存储有计算及程序的存储器，其中，K为至少等于2的整数；服务器上存储有用于描述全局图神经网络模型结构、个性化模型结构的配置文件；特点是所述方法包括以下具体步骤：
[0006]步骤S1、服务器根据预先配置文件，随机初始化全局图神经网络模型参数以及个性化模型参数，并将训练轮数T初始化为1；
[0007]步骤S2、在第T轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端从服务器获取对应的全局图神经网络模型参数以及个性化模型参数，若该客户端是第一次被选中，则随机初始化个性化模型表示向量，k＝1,2,
…
M；
[0008]步骤S3、每一客户端基于获取的服务器个性化模型参数和本地存储的个性化模型表示向量生成本地的个性化补充模型，之后，综合对应的模型参数、个性化补充模型及本地数据进行本地训练，向服务器发送对应的模型参数；
[0009]步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数及个性化模型参数；
[0010]步骤S5、判断模型是否收敛，若收敛，则结束模型训练，否则，令T＝T+1，返回执行步骤S2
‑
S5。
[0011]步骤S1所述全局图神经网络模型，其节点状态更新方式表示为以下公式的形式：
[0012][0013][0014]其中，N(v)为节点v邻居节点的集合，为节点收到的消息，函数M
t
为消息生成函数，通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息e
vw
生成消息；函数Agg为聚合函数，将节点v从所有邻居处的消息聚合为生成消息；函数Agg为聚合函数，将节点v从所有邻居处的消息聚合为为节点v上一时刻的状态，为节点v当前时刻的状态，函数U为节点状态更新函数，通过状态和收到的消息，将节点更新为
[0015]所述步骤S3，具体包括：
[0016]步骤S31、基于第k参与客户端获取的服务器个性化模型参数Wp重构的个性化模型生成网络P和第k参与客户端本地存储的个性化模型表示向量生成每一层全局图神经网络模型对应的本地的个性化补充模型
[0017][0018]个性化模型生成网络P为一个n
p
层的神经网络，表示为：
[0019]f(x)＝σ(Wx+b)
[0020][0021]其中f(x)表示单层神经网络函数，x为函数P的输入，W和b分别为每一层神经网络的参数，为运算符，表示将左边的函数作用在右边的函数的结果上；
[0022]个性化补充模型为一个n
f
层的神经网络，其中t表示对第t层全局图神经网络模型的个性化补充模型；
[0023]步骤S32、基于第k参与客户端获取的基于所有服务器对应的全局图神经网络模型G和本地个性化补充模型得到本地个性化图神经网络模型G
l
，表示为：
[0024][0025][0026]其中，N(v)为节点v邻居节点的集合，为节点收到的消息，函数M
t
为消息生成函数，通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息e
vw
生成消息；函数Agg为聚合函数，将节点v从所有邻居处的消息聚合为生成消息；函数Agg为聚合函数，将节点v从所有邻居处的消息聚合为为个性化补充模型；为节点v上一时刻的状态，为节点v当前时刻的状态，函数U为节点状态更新函数，通过状态和收到的消息，将节点更新为
[0027]步骤S33、基于第k参与客户端获取的基于所有服务器对应的本地个性化图神经网络模型G
l
参数的参数W
gl
和本地数据D
k
进行若干轮随机梯度下降训练得到本地模型参数；
[0028][0029]其中，W
gl
随着第k参与客户端本地模型训练而更新，W
gl
的初始值为
←
表示将箭头右侧的值更新给箭头左侧的参数，W
gl
为第k参与客户端当前轮次得到的本地模型参数的总和，η为预设的学习率，D
k
表示第k参与客户端的本地数据，L(W
gl
；D
k
)表示W
gl
在D
k
上的损失函数值；
[0030]步骤S34、基于第k参与客户端本地模型训练结束后得到的本地模型参数向服务器发送对应的本地模型参数。
[0031]所述步骤S4，具体包括：
[0032]步骤S41、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数、个性化模型参数；
[0033][0034][0035]其中，W
g
为本轮全局图神经网络模型参数，为第k个客户端本轮上传的图神经网络模型参数，W
p
为本轮全局个性化模型参数，为第k个客户端本轮上传的个性化模型参数。
[0036]本专利技术与现有技术相比具有明显的优点和有益效果。
[0037]本专利技术提供的一种基于图数据上的联邦学习方法可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
[0038]本专利技术所述方法基于图数据，并为每一客户端添加了个性化模型表示向量，以适用于图数据的方式给算法模型添加了个性化表征的能力，可以提高算法模型的精度。其中，算法模型指常规的图神经网络模型。同时，利用了个性化模型参数和个性化模型表示向量生成每个客户端上的个性化补充模型，在提高模型精度的同时，减小了通信带宽，提高了模型训练效率。
附图说明
[0039]图1为实施本专利技术的结构图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图数据上的联邦学习优化方法，该方法实施环境包括一个服务器、K个客户端，处理器和存储有计算及程序的存储器，其中，K为至少等于2的整数；服务器上存储有用于描述全局图神经网络模型结构、个性化模型结构的配置文件；其特征在于，所述方法包括以下具体步骤：步骤S1、服务器根据预先配置文件，随机初始化全局图神经网络模型参数以及个性化模型参数，并将训练轮数T初始化为1；步骤S2、在第T轮训练中，选择M个参与客户端，向每一参与客户端发送训练指令，第k参与客户端从服务器获取对应的全局图神经网络模型参数以及个性化模型参数，若该客户端是第一次被选中，则随机初始化个性化模型表示向量，k＝1,2,
…
M；步骤S3、每一客户端基于获取的服务器个性化模型参数和本地存储的个性化模型表示向量生成本地的个性化补充模型，之后，综合对应的模型参数、个性化补充模型及本地数据进行本地训练，向服务器发送对应的模型参数；步骤S4、服务器基于本轮M个参与客户端发送的本地更新参数更新对应的本轮全局图神经网络模型参数及个性化模型参数；步骤S5、判断模型是否收敛，若收敛，则结束模型训练，否则，令T＝T+1，返回执行步骤S2
‑
S5。2.根据权利要求1所述的联邦学习优化方法，其特征在于，步骤S1所述全局图神经网络模型，其节点状态更新方式表示为以下公式的形式：模型，其节点状态更新方式表示为以下公式的形式：其中，N(v)为节点v邻居节点的集合，为节点收到的消息，函数M
t
为消息生成函数，通过节点v上一时刻的状态及邻居节点w上一时刻的状态以及对应边的信息e
vw
生成消息；函数Agg为聚合函数，将节点v从所有邻居处的消息聚合为消息；函数Agg为聚合函数，将节点v从所有邻居处的消息聚合为为节点v上一时刻的状态，为节点v当前时刻的状态，函数U为节点状态更新函数，通过状态和收到的消息，将节点更新为3.根据权利要求1所述的联邦学习优化方法，其特征在于，所述步骤S3，具体包括：步骤S31、基于第k参与客户端获取的服务器个性化模型参数W
p
重构的个性化模型生成网络P和第k参与客户端本地存储的个性化模型表示向量生成每一层全局图神经网络模型对应的本地的个性化补充模型型对应的本地的个性化补充模型个性化模型生成网络P为一个n
p
层的神经网络，表示为：f(x)＝σ(Wx+b)其中f(x)表示单层神经网络函数，x为函数P的输入，W和b分...

【专利技术属性】
技术研发人员：吴宇航，高明，蔡文渊，杜蓓，刘翔，
申请(专利权)人：上海嗨普智能信息科技股份有限公司，
类型：发明
国别省市：