【技术实现步骤摘要】
本专利技术涉及联邦学习准技术，具体涉及一种异质数据环境下基于客户端贡献理清的联邦学习方法。
技术介绍
1、在现有的技术背景中，联邦学习理论上要求在跨客户端的数据呈现iid特性下运行。然而，实际操作中，数据大多数情况是non-iid的，意味着各客户端之间存在不同的数据分布。在此背景下，许多研究努力专利技术了各种解决方案来应对联邦学习中的non-iid数据问题。
2、例如，现有联邦学习算法fedavg核心思想是基于各节点的数据量对全局模型进行加权策略，该方法在一定程度上解决了统计异质性的问题，但由于其经验性质，其在non-iid数据上的泛化能力存在不足。针对fedavg的这一技术缺陷，litian等人进一步创新，提出了fedprox算法，fedprox的独特之处在于它在目标函数中加入了近端项，旨在增强客户端模型与全局模型的一致性，但此技术同样面临挑战：过大的近端项可能妨碍模型的快速收敛。
3、例如，现有联邦学习算法scaffold(fedavg的改进版)特色是通过降低方差来抵抗局部模型的偏移，但是，该现有方法在应对深度学习图像数据集时仍然存在局限性。
4、为克服上述局限，模型对比联邦学习算法moon应运而生，该方法采用一种新颖的方法来调整局部更新的权重，从而加强与全局模型的一致性；然而，此技术在有效利用跨客户端知识的应用上仍存在挑战。
5、目前，还有其他一些技术方法(如fedma、fedadp)在试图解决数据异质性和其他相关问题，但或多或少都在模型精度、通信成本或其他方面存在不同的挑战
6、近期，一些专利也有不少尝试。例如，专利cn113762530a考虑模型精度为加权标准，但容易导致权重不稳定并过度奖励小样本高精度的节点；专利cn114417417a采用静态的数据类别分组，这可能难以应对数据环境的动态变化；专利cn116681126a提出自适应等待时长的异步加权联邦学习方法，强调节约能耗，但其与训练效率之间的平衡策略未明确给出；专利cn115049007a改进的联邦加权聚合方法专注于特定的人类活动识别领域，但其普适性将受到限制。
7、综上所述，尽管存在许多技术尝试，但在统计异质性的处理上，目前的方法很难在模型精度与通信成本之间取得完美的平衡。
技术实现思路
1、专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种异质数据环境下基于客户端贡献理清的联邦学习方法，本专利技术通过平衡数据量和局部模型精确度的关系，为节点分配与其贡献相匹配的权重，最终达到提升全局模型精确度的目的。
2、技术方案：本专利技术的一种异质数据环境下基于客户端贡献理清的联邦学习方法，包括以下步骤：
3、步骤s1、分发全局模型
4、服务器随机选择一个客户端子集，客户端子集中的客户端从服务器端下载当前的全局模型(包括mlp模型或cnn模型)；然后客户端将下载的全局模型作为其本地训练的起点，经过多轮在各客户端上的训练和结果聚合，全局模型的性能预期会超过任何单独客户端上的模型；
5、步骤s2、本地模型更新与评估
6、客户端子集中每个被选中的客户端均开始使用其自身的本地数据对下载的全局模型进行训练和更新；训练和更新的具体过程包括：
7、使用本地数据进行前向传播、计算损失、进行反向传播，并利用优化算法更新模型参数；
8、完成全局模型更新后，客户端将利用全局模型精确度计算函数(例如使用pytorch库函数返回模型精度)对其模型进行评估，从而获得模型在本地数据上的精度；
9、步骤s3、上传本地信息
10、客户端将其本地的模型参数、数据量大小和经过计算的模型精度同时上传到中央服务器；
11、步骤s4、对更新后的全局模型进行加权聚合
12、收到来自所有参与客户端的信息后，服务器基于加权策略根据每个客户端上传的数据量和模型精度其分配权重，进而对客户端的模型更新进行加权聚合，具体方法如下：
13、步骤s4.1、客户端数据量和模型精度归一化
14、每一轮客户端向服务器发送消息后，服务器均对客户端上传的本地数据量和模型精度进行归一化处理公式如下：
15、
16、
17、其中k表示客户端总数量，ni和aci分别表示客户端i的数据量和模型精度；
18、步骤s4.2、基于加权策略更新全局模型
19、加权策略如公式(3)，
20、
21、α和β分别代表数据量和精度归一化之后所占的权重。
22、此处，由于数据异质性的程度不同，α和β的值不是一成不变的，关于α和β的取值，通过实验寻找最优值，可设(α,β)＝(0.4,0.6)为最优值。
23、有益效果：本专利技术考虑全局模型在不同客户端的实际表现，确保数据量大且模型精度高的客户端在全局模型更新中占有更大的权重，有助于生成一个性能更好、更有针对性的全局模型。与现有技术相比，具有以下优点：
24、(1)对节点特性的深入认识：传统的联邦学习方法多基于fedavg算法，很大程度上忽视了节点数据量与模型准确性之间的关系。在实际场景中，不同节点可能因为各种因素(如数据质量、数据来源等)导致数据特性大相径庭。本专利技术深入探讨这种关联性，发现客户端拥有的数据量越大不代表其所训练的全局模型和局部模型精度越高，且当数据量一定时，iid客户端的全局模型精度高于non-iid客户端，当non-iid程度一定时，数据量大的客户端的全局模型精度和具有高精度局部模型的客户端数量显著优于数据量小的客户端；这种关联性为后续的模型优化提供理论基础，提高对节点特性的认识和利用。
25、(2)提升处理统计异质性能力：现有的联邦学习方法在处理来自不同节点的统计异质数据时存在明显的瓶颈。本专利技术的技术方案fedva结合节点的数据量和模型的准确性，针对不同节点的异质数据特性给出不同的权重，从而为全局模型提供了更为鲁棒的收敛性，这使得本专利技术在多种实际应用场景下都展现出了显著的性能提升，如在cifar-10数据集上比现有方法fedavg提高了2.3％的准确率。
26、(3)优化模型精度与通信成本平衡：当前市场上的技术方法在处理统计异质性时，常常面临模型精度与通信成本的权衡挑战，很少能同时兼顾这两方面。本专利技术的技术方案fedva通过创新性地考虑节点的数据量和模型精确度进行权重分配，既优化全局模型的精确度，又有效控制了通信成本，为联邦学习领域实现一个前所未有的技术进步。
本文档来自技高网...【技术保护点】
1.一种异质数据环境下基于客户端贡献理清的联邦学习方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种异质数据环境下基于客户端贡献理清的...
【专利技术属性】
技术研发人员：程力，刘春明，杨洋，王峰，王振，阮子辰，李钰颖，
申请(专利权)人：湖北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。