基于联邦学习的模型训练方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种基于联邦学习的模型训练方法、装置及电子设备，可应用于服务器，所述方法包括：向参与计算的客户端部署模型参数相同的客户端模型，以使得客户端在本地依据本地数据对客户端模型进行训练，得到局部模型参数；接收各客户端上传的局部模型参数，并依据局部模型参数确定各客户端间的结构关系；依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数；依据全局模型参数和各客户端之间的结构关系，确定各客户端模型的参数个性更新信息，并下发给各个客户端，以更新客户端的客户端模型，使得客户端采取本地数据对客户端模型进行下一轮训练，得到更新的局部模型参数，并上传给服务器，直至完成训练过程。完成训练过程。完成训练过程。

【技术实现步骤摘要】
基于联邦学习的模型训练方法、装置及电子设备


[0001]本专利技术涉及计算机
，尤其是涉及一种基于联邦学习的模型训练方法、装置及电子设备。

技术介绍

[0002]随着现代移动设备和物联网设施的快速增长，产生了大量的数据，基于这些数据的机器学习方法也已经被应用到现实生活的各行各业中。传统的机器学习通常需要将不同设备之间的数据融合到中央服务器上进行集中训练才能得到较好的效果。然而，随着越来越多的用户意识到数据安全和用户隐私的问题，数据整合面临很大的困难。近年来，谷歌提出了一种联邦学习(Federated Learning)的方法，它可以在大量的分布式设备之间建立一个共享的全局机器学习模型，同时将用户的数据保留在本地，因此获得了越来越广泛的关注。
[0003]由于联邦学习中不同客户端间的信息分布可能大相径庭，数据的非独立同分布(Non
‑
IID)特性严重影响了联邦学习方法的表现。在联邦学习环境中为不同客户制定个性化模型是解决数据的非独立同分布问题的常见手段，其中，知识共享和局部模型个性化是该方法的两个关键组成部分。现有的方案通常是为不同客户端(或称参与方)设计不同的个性化局部模型，各参与方依据个性化局部模型和本地数据进行训练，之后将模型参数上传给服务器进行聚合。
[0004]但是，采用上述方案，并未考虑到不同参与方之间数据的非独立同分布(Non
‑
IID)特性，导致模型训练效果差。

技术实现思路

[0005]本专利技术实施例提供一种基于联邦学习的模型训练方法、装置、电子设备及存储介质，以提升对模型的训练效果。
[0006]为了解决上述技术问题，本专利技术是这样实现的：
[0007]第一方面，本申请提供一种基于联邦学习的模型训练方法，应用于服务器，所述方法包括：向参与计算的客户端部署模型参数相同的客户端模型，以使得客户端在本地依据本地数据对客户端模型进行训练，得到局部模型参数；接收各客户端上传的局部模型参数，并依据局部模型参数确定各客户端间的结构关系；依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数；依据全局模型参数和各客户端之间的结构关系，确定各客户端模型的参数个性更新信息，并下发给各个客户端，以更新客户端的客户端模型，使得客户端采取本地数据对客户端模型进行下一轮训练，得到更新的局部模型参数，并上传给服务器，直至完成训练过程。
[0008]进一步的，所述依据局部模型参数确定各客户端间的结构关系，包括：依据局部模型参数作为节点属性，生成图结构的节点，并确定图结构中各节点的邻接关系，所述邻接关系包括邻接矩阵；依据邻接关系，将目标节点邻接的邻接节点的模型参数聚合到目标节点
中，形成图卷积网络，以确定各客户端间的结构关系。
[0009]进一步的，所述邻接关系还包括图结构中节点之间相邻矩阵的正则化项。
[0010]进一步的，所述依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数，包括：依据局部模型参数和各客户端之间的结构关系，对局部模型参数进行调整，确定局部个性参数；依据局部个性参数和图卷积网络，确定服务器端的全局模型参数。
[0011]进一步的，所述依据局部模型参数和各客户端之间的结构关系，对局部模型参数进行调整，确定局部个性参数，包括：依据局部模型参数，确定各客户端的局部模型损失，并依据局部模型损失和损失约束信息，确定局部模型与全局模型参数之间的第一相关性，形成第一调整信息；确定局部模型参数和图卷积网络之间的第二相关性，确定第二调整信息；依据第一调整信息和第二调整信息，确定各客户端的局部个性参数。
[0012]进一步的，所述方法还包括：依据局部个性参数，更新图卷积网络的图卷积参数，以在下一轮迭代训练过程中基于更新后的图卷积参数，确定各客户端之间的结构关系。
[0013]进一步的，所述方法还包括：依据更新后的全局模型参数、更新后的图卷积参数和局部个性参数，更新邻接矩阵，以依据更新后的邻接矩阵，确定目标节点的邻接节点。
[0014]第二方面，本申请提供一种基于联邦学习的模型训练装置，应用于服务器，所述装置包括：客户端模型部署模块，用于向参与计算的客户端部署模型参数相同的客户端模型，以使得客户端在本地依据本地数据对客户端模型进行训练，得到局部模型参数；局部参数接收模块，用于接收各客户端上传的局部模型参数，并依据局部模型参数确定各客户端间的结构关系；全局参数确定模块，用于依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数；个性参数下发模块，用于依据全局模型参数和各客户端之间的结构关系，确定各客户端模型的参数个性更新信息，并下发给各个客户端，以更新客户端的客户端模型，使得客户端采取本地数据对客户端模型进行下一轮训练，得到更新的局部模型参数，并上传给服务器，直至完成训练过程。
[0015]第三方面，本申请提供一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。
[0016]第四方面，本申请提供一种存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如第一方面所述的方法。
[0017]本申请提供了一种基于联邦学习的模型训练方法，应用于服务器，所述方法包括：向参与计算的客户端部署模型参数相同的客户端模型，以使得客户端在本地依据本地数据对客户端模型进行训练，得到局部模型参数；接收各客户端上传的局部模型参数，并依据局部模型参数确定各客户端间的结构关系；依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数；依据全局模型参数和各客户端之间的结构关系，确定各客户端模型的参数个性更新信息，并下发给各个客户端，以更新客户端的客户端模型，使得客户端采取本地数据对客户端模型进行下一轮训练，得到更新的局部模型参数，并上传给服务器，直至完成训练过程。
[0018]在现有方案中，联邦学习的方法有以下问题，问题一是，个性化联邦学习方法侧重于设计个性化局部模型的部分，而仅仅通过简单地聚合所有本地模型来实现知识共享，这
种实现方式忽略了具有非独立同分布数据的客户之间的结构关系。二是，如果多个参与方的数据非独立同分布的程度很高，而各参与方的个性化局部模型均是个性化设计的，在所有参与方的参数聚合时，将会产生一个低质量的全局模型，最终会极大地影响个性化模型的性能。而本申请实施例的方案，服务器先为各个参与方部署相同的模型，并进行训练，在多个参与方的数据非独立同分布的程度很高的情况下，可以得到较好的训练效果。并且，在聚合多个参与方的模型的过程中，可以考虑各参与方之间的结构关系，并按照结构关系来聚合各参与方的模型参数，能够更好的进行模型训练。另外，本申请实施例还可以按照各参与方的结构关系，来生成与参与方对应的参数个性更新信息，使得各个参与方的客户模型按照其数据的分布情况(数据分布可能不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，应用于服务器，所述方法包括：向参与计算的客户端部署模型参数相同的客户端模型，以使得客户端在本地依据本地数据对客户端模型进行训练，得到局部模型参数；接收各客户端上传的局部模型参数，并依据局部模型参数确定各客户端间的结构关系；依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数；依据全局模型参数和各客户端之间的结构关系，确定各客户端模型的参数个性更新信息，并下发给各个客户端，以更新客户端的客户端模型，使得客户端采取本地数据对客户端模型进行下一轮训练，得到更新的局部模型参数，并上传给服务器，直至完成训练过程。2.根据权利要求1所述的方法，其特征在于，所述依据局部模型参数确定各客户端间的结构关系，包括：依据局部模型参数作为节点属性，生成图结构的节点，并确定图结构中各节点的邻接关系，所述邻接关系包括邻接矩阵；依据邻接关系，将目标节点邻接的邻接节点的模型参数聚合到目标节点中，形成图卷积网络，以确定各客户端间的结构关系。3.根据权利要求2所述的方法，其特征在于，所述邻接关系还包括图结构中节点之间相邻矩阵的正则化项。4.根据权利要求2所述的方法，其特征在于，所述依据各客户端的局部模型参数和各客户端之间的结构关系，确定服务器的全局模型参数，包括：依据局部模型参数和各客户端之间的结构关系，对局部模型参数进行调整，确定局部个性参数；依据局部个性参数和图卷积网络，确定服务器端的全局模型参数。5.根据权利要求4所述的方法，其特征在于，所述依据局部模型参数和各客户端之间的结构关系，对局部模型参数进行调整，确定局部个性参数，包括：依据局部模型参数，确定各客户端的局部模型损失，并依据局部模型损失和损失约束信息，确定局部模型与全局模型参数之间的第一相关性，形成第...

【专利技术属性】
技术研发人员：马骏，王晓磊，杨钰群，
申请(专利权)人：北京芯联心科技发展有限公司，
类型：发明
国别省市：