一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法制造技术

本发明专利技术涉及联邦学习的多源异构数据融合技术领域，公开一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法，包括：客户端在本地训练扩散模型并在服务器端生成符合原始图像分布的数据，通过生成的图像扩充客户端本地数据，以实现数据增强；通过在知识蒸馏时动态的给各个参与方分配权重，并在服务器端完成知识的迁移。本发明专利技术在各个客户端训练扩散模型并在服务器端直接生成符合全局图像分布的数据，而不需要将原始数据传输到中心服务器，可以更好地保护用户隐私；且本发明专利技术通过利用生成数据进行权重自适应的知识蒸馏，可以缓解模型聚合时造成的知识遗忘，从而提高全局模型的泛化能力。力。力。

【技术实现步骤摘要】
一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法


[0001]本专利技术涉及联邦学习的多源异构数据融合
，尤其涉及一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法。

技术介绍

[0002]随着人类社会数字化的快速发展，机器学习在当前社会中发挥了非常重要的作用。通过机器学习技术可以自动化地挖掘数据中蕴藏的宝藏。经过大量数据训练出来的机器学习模型已经应用在各类场景中，正在深刻改变着我们的世界。但多个数据来源方无法直接交换数据，形成“数据孤岛”现象，制约着人工智能模型能力的进一步提高。随着近年来各国法律法规对隐私数据的监管越来越严格，加之各公司部门之间固有的数据割裂问题，各行各业都面临着数据近似和数据孤岛的困境。如何找到一种有效手段，既能保护用户的数据隐私，又能联合各参与方数据提升模型的泛化能力，成了当前人工智能领域的热点研究问题。一种可行的方法是：每一个拥有数据源的机构利用自身的数据单独训练一个模型，之后各机构的模型彼此之间进行交互，最终通过模型聚合得到一个全局模型。为了确保用户隐私和数据安全，各机构间交换模型信息的过程将会被精心设计，使得没有机构能够猜测到其他任何机构的隐私数据内容。同时，在构建全局模型时，其效果与数据源被整合在一起进行集中式训练的效果几乎一致，这便是联邦学习(Federated Learning，FL)提出的动机和核心思想。联邦学习是利用分散在各个参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型的一种分布式机器学习范式。联邦学习强调的核心理念是：数据不动模型动，数据可用不可见。它可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,从技术上打破数据孤岛,实现多方协作。
[0003]针对机器学习中数据量不足的问题，Connor Shorten等人总结了一些传统的数据增强方法。包括基于几何变换的扩增方法、水平翻转、裁剪、平移、颜色空间变换等。Hongyi Zhang等人提出了一种名为Mixup的数据扩充方法，而后有相关研究将其应用到联邦学习中，但是由于需要向服务器发送混合数据，使得这个方法在通信方面很昂贵；此外，如果选择少量样本进行混合，可能会导致侵犯隐私。数据增强的另一种方法是利用生成模型生成数据，例如生成对抗网络(Generative Adversial Netowks,GAN)、变分自编码器(Variational Auto
‑
Encoders,VAE)、基于流的生成模型(Flow
‑
based Generative Model)。针对联邦学习中数据隐私问题，已有相关研究将生成对抗网络、变分自解码器与联邦学习相结合，在保护隐私的前提下训练生成模型并生成图片。目前有关生成模型的另一项研究是扩散模型(Diffusion model)。扩散模型的研究最早由Jascha Sohl
‑
Dickstein在2015年提出；2020年，Jonathan Ho等人发表了一项名为Denoising Diffusion Probabilistic Models的研究，使其真正发挥作用。扩散模型最近成为了一个研究热点，但该研究尚未应用于联邦学习中。本专利将扩散模型应用于联邦学习中，旨在保证数据隐私的前提下训练扩散模型以生成数据并用于知识蒸馏。
[0004]知识蒸馏是Hinton等人在2015年提出的一种模型压缩方法，经典知识蒸馏的角色
可以分为Teacher和Student，通过将复杂、学习能力强的网络学到的特征表示“蒸馏”出来，传递给参数量小、学习能力弱的网络。从而得到一个速度快，能力强的网络。在联邦学习和知识蒸馏相结合的研究中，T Shen等人提出了基于知识蒸馏的FedDML算法，每个客户端拥有两个局部模型并相互蒸馏。但计算成本较高，通信开销大，影响全局网络的收敛速度。Zhuangdi Zhu等人提出了一种个性化联邦学习算法：FedGEN，目的是让每个客户端得到一个适合自己数据分布的模型。在FedGEN中，服务器不再需要全部局部模型参数的均值，服务器只是客户端共享知识的媒介。Shen,Tao等人提出了一种基于个性化的知识蒸馏方法，每个客户端除局部模型外各自还有一个个性化模型。本地训练时，局部模型和客户端的个性化模型互相进行知识蒸馏，并在训练结束后上传蒸馏后的局部模型给服务器；最后服务器聚合生成全局模型并下发给客户端。但是这些方法需要较长的训练时间，增加了通信开销。随后，部分学者提出Data
‑
Free的联邦知识蒸馏方法。Eunjeong Jeong等人将Codistillation(Rohan Anil等人)应用到联邦学习中。其中每个客户端上传给服务器其本地数据中每个种类的的平均logit vector；对于客户端mi而言，服务器平均除其之外所有客户端的logit vector，并作为蒸馏出来的知识发送给mi辅助其进行训练。从模型聚合的视角出发，Lin Zhang等人认为在传统的联邦学习框架中，全局模型由局部模型直接平均聚合而来，这会造成知识遗忘，导致全局模型的性能不如局部模型的性能。进而提出了FedFTC框架：通过生成器探索局部模型的输入空间，并使用它将知识从局部模型转移到全局模型。但这对超参数的要求很严格，很容易陷入过拟合。Tao Lin等人提出了FedDF：通过最小化局部模型和全局模型对数据输出的KL散度，来拉近局部模型和全局模型的距离。但在FedDF中，由于蒸馏温度设定的过小，无法将局部模型中的暗知识有效的转移至全局模型。
[0005]隐私保护是联邦学习的前提，是联邦学习中面临的首要挑战。此外，在联邦学习应用中，模型的精度、泛化能力等都依赖于对大量数据的学习，但多个数据来源方无法直接交换数据，最终导致数据异构的出现。最后，由于各参与方的网络结构不同，导致联邦学习可能无法有效进行模型聚合。因此，模型异构也成为联邦学习所面临的主要挑战之一。

技术实现思路

[0006]针对以上问题，本专利提出一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法。主要为了达到以下目的：
[0007]1、保护隐私：本专利在各个客户端训练扩散模型并在服务器端直接生成符合全局图像分布的数据，而不需要将原始数据传输到中心服务器，可以更好地保护用户隐私；
[0008]2、增强数据多样性：通过生成符合原始数据分布的图像，不仅可以扩充本地数据，还可以增加数据的多样性，从而提高模型的性能和泛化能力；
[0009]3、提高模型的鲁棒性：通过生成符合原始数据分布的图像，可以让模型学习更多的数据分布和特征，从而提高模型的鲁棒性；
[0010]4、提高模型的泛化能力：通过利用生成数据进行权重自适应的知识蒸馏，可以缓解模型聚合时造成的知识遗忘，从而提高全局模型的泛化能力。
[0011]为了实现上述目的，本专利技术采用以下技术方案：
[0012]一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法，包括：
[0013]客户端在本地训练扩散模型并在服务器端生成符合原始图像分布的数据，通过生...

【技术保护点】

【技术特征摘要】
1.一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法，其特征在于，包括：客户端在本地训练扩散模型并在服务器端生成符合原始图像分布的数据，通过生成的图像扩充客户端本地数据，以实现数据增强；通过在知识蒸馏时动态的给各个参与方分配权重，并在服务器端完成知识的迁移。2.根据权利要求1所述的一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法，其特征在于，所述客户端在本地训练扩散模型并在服务器端生成符合原始图像分布的数据，通过生成的图像扩充客户端本地数据，以实现数据增强包括：通过最小化下列损失完成扩散模型的训练：其中N表示客户端总数量；w为局部模型参数；为第i个客户端的本地数据集；D为所有客户端上的数据集；为交叉熵损失函数；为每个客户端的目标损失：其中T为训练总步数，α
t
为线性插值；z
t
为第t步扩散的噪声；x0为输入的真实图片；为z
t
和x0的期望值；z
θ
为模型预测的噪声；训练完成后，在服务器端按照如下公式进行反复迭代，即可完成图片的生成：其中x
t
‑1为第t
‑
1步时的图片，x
t
为第t步时的图片，σ
t
为推导过程中的常数，z为第t步时的方差；通过上述过程最终生成共享数据集。3.根据权利要求2所述的一种基于扩散模型和权重自适应知识蒸馏的联邦学习算法，其特征在于，所述通过在知识蒸馏时动态的给各个参与方分配权重，并在服务器端完成知识的迁移包括：服务器随机选择一些客户端，把此客户端集合记为S
t
，并向所述客户端发送全局模型ω
t
；客户端接收全局模型并作为本地模型进行本地训练；客户端将训练后的本地模型上传至服务器；服务器通过如下公式对各个客户端的本地模型进行聚合生成新一轮的全局模型：其中为第n个客户端的本地数据集；为第n...

【专利技术属性】
技术研发人员：翟锐，刘杭，靳浩哲，于俊洋，徐宋天浩，宋亚林，王瑛琦，李涵，王龙葛，史蕊，宋然，
申请(专利权)人：河南大学，
类型：发明
国别省市：