一种基于移动式服务器的联邦学习系统及方法技术方案

本发明专利技术涉及一种联邦学习方法，尤其为一种基于移动式服务器的联邦学习系统及方法，包括移动式服务器与客户端，所述移动式服务器用于负责全局模型参数的储存与更新，通过与客户端相互合作，对模型参数进行传输与接收，进一步更新全局模型，基于模型知识迁移提出移动式联邦融合算法，当出现新的客户端时通过移动式服务器传递客户端所学知识来融合模型。通过实验验证，当客户端之间数据分布为独立同分布与非独立同分布时，本发明专利技术提出的移动框架性能均优于传统的联邦学习框架。于传统的联邦学习框架。于传统的联邦学习框架。

【技术实现步骤摘要】
一种基于移动式服务器的联邦学习系统及方法


[0001]本专利技术涉及一种联邦学习方法，尤其是一种基于移动式服务器的联邦学习系统及方法。

技术介绍

[0002]随着数据驱动的不断发展，保护数据隐私和安全已成为了人工智能发展的必要趋势。联邦学习可以在保护数据隐私、合法合规的前提下，进行机器学习用以解决数据孤岛的问题。联邦学习本质上是一种分布式机器学习框架，其目的是在保证数据隐私安全的基础上，实现共同建模，提升机器学习模型的效果。图1为横向联邦框架示意图，有四个步骤组成，首先，各客户端的本地模型训练；其次，各客户端把更新之后的模型参数发送给服务器；再次，服务器对各客户端发送的参数进行聚合；最后，服务器把聚合更新之后的参数发送各客户端。各客户端开始下一时刻的迭代，重复循环，直至整个训练过程收敛。
[0003]联邦学习方面，目前常用的聚合算法为联邦平均算法，其是为了获得Google应用程序的中心预测模型而开发的，可以嵌入到手机中以保护用户的隐私。该算法在服务器端根据各客户端数据大小对模型参数进行加权聚合，表示为其中n
k
为k第个客户端的样本数据大小，n为训练样本的总数，为第k个客户端t+1时刻的模型参数。损失函数定义为其中f
k
(w)为第k个客户端的损失函数。进一步证明了联邦平均算法在Non
‑
IID数据上的收敛性，但其收敛速度慢，通信成本较高；现有技术中提出了Fedprox算法，在FedAvg的基础上增加一个近似项，对全局模型进行优化并且允许了客户端的本地更新的差异性；现有技术中提出一个具有多个中心服务器的联邦学习框架，根据欧式距离把具有相似模型参数的客户端划分为一个中心服务器，以此来解决数据分布的差异性；其证明了当数据的非独立分布性增大时，全局模型对客户端本地数据的泛化误差也显著增加，造成训练出来的全局模型很难适应每个客户端的特定数据任务。
[0004]个性化联邦学习方面，常用的方法是，与迁移学习结合对客户端进行个性化建模。迁移学习是利用在解决一个问题中获得的知识来解决另一个相关问题。例如现有技术中将服务器训练的全局模型的部分或所有参数在客户端局部数据上被重新学习；其提出了一个具有泛化保证的理论框架，通过使用训练的全局模型参数来初始化对局部数据的训练；现有技术在非联邦环境中使用迁移学习来实现模型个性化；提出了一种基于相互知识迁移的去中心化联邦学习算法，即Def_KT，并对客户端模型进行个性化定制。尽管上述方法取得了不错的研究进展，但是，由于客户端之间设备的异质性会使得模型训练时间，上传速度不一样，实现完全同步较为困难。客户端数据分布差异较大时，将导致所训练出的模型参数分布差别大，服务器集中融合客户端模型将带来负效应，导致全局模型性能较差。基于此，提出一种基于移动式服务器的联邦学习系统及方法。

技术实现思路

[0005]本专利技术的目的是通过提出一种基于移动式服务器的联邦学习系统及方法，以解决上述
技术介绍
中提出的缺陷。
[0006]本专利技术采用的技术方案如下：一种基于移动式服务器的联邦学习系统，包括移动式服务器与客户端，所述移动式服务器用于负责全局模型参数的储存与更新，通过与客户端相互合作，对模型参数进行传输与接收，进一步更新全局模型。
[0007]作为本专利技术的一种优选技术方案：所述移动式服务器与客户端相互合作具体为：移动式服务器端的模型初始化；移动式服务器把模型参数发送给第一个客户端，客户端上有两个步骤同时进行，一部分使用私有数据更新全部模型参数；另一部分则根据基础层数，使其固定，更新个性层建立个性化模型，把所更新的全部模型参数上传到服务器，通过移动式服务器对模型参数进行融合并移动到下一个客户端，以此循环。
[0008]一种基于移动式服务器的联邦学习方法：包括在联邦学习场景中，将K个客户端表示为(N1,N2,...,N
K
)，其中第k个客户端的数据表示为(x
i
,y
i
)
k
，在客户端使用梯度下降法对本地模型参数进行更新，公式如下：
[0009]移动式服务器端使用模型知识迁移算法对前两个客户端更新之后的模型参数进行聚合,并把更新之后的参数转移到下一个新出现的客户端，表示如下：
[0010][0011]其中为t回合N
k
客户端的模型参数，为t回合N
k
‑1客户端的模型参数，n
k
‑1为N
k
客户端的数据大小，n
k
‑2为N
k
‑2客户端的数据大小。
[0012]作为本专利技术的一种优选技术方案：还包括通过客户端分为两个部分执行，一部分负责与服务器合作，另一部分则固定服务器发送的基础层参数，使用本地私有数据更新个性层模型参数，以此在本地建立个性化模型，假设W
m
为客户端m的模型参数，其中基础层表示为个性层表示为公式如下：
[0013][0014]其中为第k个客户端t时刻的个性层；为t时刻各客户端的基础层参数；为第k个客户端的本地数据；b为批次大小。
[0015]作为本专利技术的一种优选技术方案：所述客户端中第k个客户端的损失函数，定义为即用模型参数w对样本数据所做的预测损失；假设有K个客户端用于划分数据，用u
k
表示客户端k上数据点的索引值，令n
k
＝|u
k
|，于是有：
[0016][0017]其中；
[0018][0019]本专利技术的有益效果是：
[0020]1.提出了一种基于移动式服务器的联邦学习框架。基于模型知识迁移提出移动式联邦融合算法，当出现新的客户端时通过移动式服务器传递客户端所学知识来融合模型。通过实验验证，当客户端之间数据分布为独立同分布与非独立同分布时，本专利技术提出的移动框架性能均优于传统的联邦学习框架。
[0021]2.为着重考虑客户端本地模型性能，在基于移动式服务器的联邦学习框架下对客户端进行个性化定制学习。每一回合中，在客户端固定基础层参数，使用其本地数据更新个性层，以此建立个性化模型。通过实验给出了不同基础层下的个性化模型精度分析。
[0022]3.为降低通信轮数加快收敛速度，在三种数据集上进行了通信轮数对比分析，与基线方法对比，在达到相同的分类精度时，本专利技术所提出的移动联邦所需的通信轮数远小于基线方法，证明了本框架加快了模型的收敛速度。
附图说明
[0023]图1为本专利技术横向联邦框架示意图；
[0024]图2为本专利技术优选实施例中整体框架示意图；
[0025]图3为本专利技术优选实施例中MNIST数据集下全局模型精度对比图；
[0026]图4为本专利技术优选实施例中F
‑
MNIST数据集下全局模型精度对比图；
[0027]图5为本专利技术优选实施例中CIFAR
‑
10数据集下全局模型精度对比图；
[0028]图6为本专利技术优选实施例中不同基础本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于移动式服务器的联邦学习系统，其特征在于：包括移动式服务器与客户端，所述移动式服务器用于负责全局模型参数的储存与更新，通过与客户端相互合作，对模型参数进行传输与接收，进一步更新全局模型。2.根据权利要求1所述的基于移动式服务器的联邦学习系统，其特征在于：所述移动式服务器与客户端相互合作具体为：移动式服务器端的模型初始化；移动式服务器把模型参数发送给第一个客户端，客户端上有两个步骤同时进行，一部分使用私有数据更新全部模型参数；另一部分则根据基础层数，使其固定，更新个性层建立个性化模型，把所更新的全部模型参数上传到服务器，通过移动式服务器对模型参数进行融合并移动到下一个客户端，以此循环。3.一种基于移动式服务器的联邦学习方法，其特征在于：包括在联邦学习场景中，将K个客户端表示为(N1,N2,...,N
K
)，其中第k个客户端的数据表示为(x
i
,y
i
)
k
，在客户端使用梯度下降法对本地模型参数进行更新，公式如下：移动式服务器端使用模型知识迁移算法对前两个客户端更新之后的模型参数进行聚合,并把更新之后的参数转移到下一个新出现的客户端，表示如下：其中...

【专利技术属性】
技术研发人员：吴兰，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：