【技术实现步骤摘要】
本专利技术涉及联邦学习领域，具体涉及一种基于开源数据引导的联邦学习方法及系统。
技术介绍
1、近年来，随着人工智能技术在各行业的落地应用，人们越来越关注其自身数据的安全和隐私，国家相关机构也出台新的法律来规范个人数据的合规使用。学术界和工业界都在探索如何在保护各方数据安全的前提下完成多方协作训练(multi-partycollaborative training)。联邦学习(federated learning，fl)在这样的大背景下应运而生，其核心思想就是用模型梯度或参数传递代替数据传递，可以保证在数据不出本地的前提下，多方协作完成一个全局模型的训练，为机器学习开启了一种新地范式。
2、联邦学习虽然有效保护了用户隐私，解决了数据孤岛问题，但联邦学习自身也面临着一些挑战，如收敛速度慢、与传统机器学习范式相比收敛效果差等，其中收敛效果差是制约其未来发展的一个核心问题。
3、联邦学习为保护用户的数据安全，将用户数据的使用权全部交给了用户，让用户在本地利用私有数据完成模型的训练，再将训练的模型参数或其他过程参数传输给协同训练的第三方，通过传输训练参数而非数据本身的方法保护用户隐私。然而，由于用户个性化的必然性，用户之间数据的分布往往呈现非独立同分布，例如：在利用用户手机相册的数据训练图像分类模型的任务中，有些用户喜欢自拍，相册中基本全是人物像，而有些用户喜欢山水，相册中就会风景照居多。这种在现实场景中普遍存在的数据非独立同分布，会使得联邦学习中每个用户之间对模型的更新方向存在较大差异，进而导致联邦学习收敛速度慢
4、对于上述问题，现有的解决方案总体可分为两类：一类是通过限制客户端本地更新完成的，即通过近端项的添加以及矫正等手段，让客户端在本地更新时不要与全局模型偏差过大，以此帮助联邦学习全局的收敛。另一类则是另辟新径，借助在大规模开源数据上预训练的模型，对其进行联邦微调，从而实现联邦学习更好更快地收敛。具体的经典代表方法包括：
5、在“tian li,anit kumar sahu,manzil zaheer,maziar sanjabi,ameettalwalkar,and virginia smith.federated optimization in heterogeneousnetworks.proceedings ofmachine learning and systems,2:429–450,2020.”的文献中fedprox从异质性入手对fedavg做了两点改良。首先，与fedavg在每轮迭代中让各参与方进行相同周期epoch的本地训练不同，fedprox允许参与方根据自身算力进行不同周期的本地训练。其次，fedprox在参与方的目标函数里增加了近端项proximal term，以加速全局模型的收敛。其他类似的算法，如scaffold算法和pfedme算法与fedprox的思想一致，但是正则化方式不同，比如scaffold采用全局模型来约束修正参与方本地模型的训练，而pfedme则结合moreau envelope光滑化进行近端项的正则化。
6、在“nguyen j,malik k,sanjabi m,et al.where to begin？exploring theimpact ofpre-training and initialization in federated learning[j].arxivpreprint arxiv:2206.15387,2022.”的文献中探索了预训练模型在联邦学习中应用。让联邦学习在预训练模型的基础上进行微调，不仅可以在更短的时间内到达预定的错误率，相比随机初始化的全局模型得到更高的准确率。同时，预训练模型的介入，可以有效降低非独立同分布数据和独立同分布数据之间的差距，这对联邦学习而已，有着更大的意义。
7、上述方案都对联邦学习的收敛性问题提出了新颖的解决方式，然而他们要么以联邦学习自身的全局模型作为铆钉点对客户端的模型训练进行矫正，要么初始化一个较优的初始点。这些方案都没有解决联邦学习在训练过程中，客户端之间更新方向差异大缺乏一致性方向的问题，进而导致联邦学习无法更快更好地收敛。
技术实现思路
1、本专利技术是为了解决上述问题而进行的，目的在于提供一种基于开源数据引导的联邦学习方法及系统。
2、本专利技术提供了一种基于开源数据引导的联邦学习方法，具有这样的特征，包括以下步骤：步骤s1，服务端构建初始化全局模型作为全局模型发送至各个客户端；步骤s2，每个客户端根据对应的本地数据对当前联邦迭代轮次的全局模型进行多轮迭代优化，得到对应的优化模型和训练损失；步骤s3，各个客户端将对应的优化模型和训练损失发送至服务端；步骤s4，服务端对所有优化模型进行加权求和得到聚合模型，对所有训练损失进行加权求和得到聚合损失；步骤s5，服务端根据聚合损失和当前联邦迭代轮次计算得到辅助损失；步骤s6，服务端根据开源数据更换聚合模型的分类层，得到辅助模型；步骤s7，服务端根据开源数据对辅助模型进行训练，直至辅助模型的损失计算结果达到辅助损失，则得到训练好的辅助模型；步骤s8，服务端将训练好的辅助模型的分类层还原为聚合模型的分类层，得到优化全局模型；步骤s9，服务端将优化全局模型作为下一联邦迭代轮次的全局模型，并将其发送至各个客户端；步骤s10，重复步骤s2至步骤s9对全局模型进行多轮联邦迭代，直至达到联邦学习优化目标，则各个客户端得到训练好的全局模型。
3、在本专利技术提供的基于开源数据引导的联邦学习方法中，还可以具有这样的特征：其中，在步骤s4中，聚合模型的计算表达式为：式中为第i个客户端对第t轮联邦迭代的全局模型进行多轮迭代优化后得到的优化模型，n为客户端的数量，wt'为该轮对应的聚合模型，聚合损失的计算表达式为：式中为第i个客户端对第t轮联邦迭代的全局模型进行多轮迭代优化后得到的训练损失，lt为该轮对应的聚合损失。
4、在本专利技术提供的基于开源数据引导的联邦学习方法中，还可以具有这样的特征：其中，在步骤s5中，辅助损失的计算表达式为：lg＝lt/τ，τ＝a+bt，式中lg为第t轮联邦迭代的聚合损失lt对应的辅助损失，τ为动态阈值，t为当前联邦迭代轮次，a和b为预设的系数。
5、在本专利技术提供的基于开源数据引导的联邦学习方法中，还可以具有这样的特征：其中，在步骤s6中，第t轮联邦迭代时，根据开源数据和包含特征层和分类层的聚合模型构建包含特征层和分类层wh的辅助模型分类层wh为对应开源数据的分类层。
6、在本专利技术提供的基于开源数据引导的联邦学习方法中，还可以具有这样的特征：其中，在步骤s7中，损失计算结果的表达式为：式中dx为开源数据，dy为开源数据dx对应的标签，为辅助模型对开源数据dx的分类结果，损失计算结果小于等于辅助损失时，结束对辅助模型的训练，得到训练好的辅助模型。
7、在本专利技术提供的基于开源数据引导的联邦学习方法中，还可以具有这样本文档来自技高网...
【技术保护点】
1.一种基于开源数据引导的联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于开源数据引导的联邦学习方法，其特征在于：
3.根据权利要求1所述的基于开源数据引导的联邦学习方法，其特征在于：
4.根据权利要求1所述的基于开源数据引导的联邦学习方法，其特征在于：
5.根据权利要求4所述的基于开源数据引导的联邦学习方法，其特征在于：
6.根据权利要求1所述的基于开源数据引导的联邦学习方法，其特征在于：
7.一种基于开源数据引导的联邦学习系统，其特征在于，包括
【技术特征摘要】
1.一种基于开源数据引导的联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于开源数据引导的联邦学习方法，其特征在于：
3.根据权利要求1所述的基于开源数据引导的联邦学习方法，其特征在于：
4.根据权利要求1所述的基于开...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。