【技术实现步骤摘要】
本专利技术涉及联邦学习，尤其涉及一种基于贡献收益协同平衡的公平联邦学习方法方法。
技术介绍
1、联邦学习可以在保护数据隐私的情况下解决孤岛问题，在工业[刘晶,朱家豪,袁闰萌等.非独立同分布工业大数据下联邦动态加权学习方法[j].计算机集成制造系统,2023,29(05).]、医疗等领域取得了较好的研究效果。但是，在实际应用过程中，联邦学习的公平性问题成为了瓶颈。文章[陈颢瑜,李浥东,张洪磊,等.面向可信联邦学习公平性的研究综述[j].电子学报,2023,51(10):2985-3010.]有两种联邦学习公平性定义：均衡分配公平性和按劳分配公平性。其中，均衡分配公平性目的是每个客户端获得相同的收益，即全局模型在每个客户端的表现都尽可能一致，不会偏向某些客户端。例文章[mohri m,sivek g,suresh a t.agnostic federated learning[c]//international conference onmachine learning.pmlr,2019:4615-4625.]提高性能最差的客户端，文章[li t,sanjabim,beirami a,et al.fair resource allocation in federated learning[c]//international conference on learning representations.2019.]通过调节参数q实现更均匀的客户端精度分布。但在实际的应用中，联邦学习客户端的数据大多是非独立同分布(non-indepe
2、联邦学习中按劳分配公平性的目标是计算联邦参与者的贡献，分配与贡献相匹配的收益，让高贡献和低贡献的参与者都能获得相对应的回报，更符合现实中参与者的利益和non-iid场景。按劳分配公平性的关键在于实现贡献收益对等，让客户端有足够的动力参与联邦学习。为了计算联邦学习参与者的贡献，文章[song t,tong y,wei s.profitallocation for federated learning[c]//2019ieee international conference onbig data(big data).ieee,2019:2577-2586.]基于shapley值定义了贡献指数，通过本地数据集、机器学习算法和测试集等因素，量化数据提供者的贡献，提出了两种基于梯度的方法——单轮重建or和多轮重建mr，通过训练过程的中间结果，在不同数据集组合上近似重构模型，从而衡量水平联邦学习的贡献，但该方法只适用于水平联邦学习；文章[wang g,dang c x,zhou z.measure contribution of participants in federated learning[c]//2019ieee international conference on big data(big data).ieee,2019:2597-2604.]提出了水平联邦学习的删除方法和垂直联邦学习的shapley值方法，计算参与者在fl中的贡献。该方法虽然可以合理解释多个参与者的贡献，但是计算成本较高；为解决贡献计算成本高的问题，文章[nishio t,shinkuma r,mandayam n b.estimation ofindividual device contributions for incentivizing federated learning[c]//2020ieee globecom workshops(gc wkshps.ieee,2020:1-6.]提出了一种基于逐步计算的轻量级多维度贡献方法，把客户端加入fl训练时全局模型性能上的提升视为衡量客户贡献的指标，从而减少通信和计算开销，但该方法要求每一轮迭代全局模型性能都提升；
3、然而文章[zhang j,li c,robles-kelly a,et al.hierarchically fairfederated learning[j].arxiv preprint arxiv:2004.10386,2020.]指出某些场景基于shapley值的方法是不公平的，于是将可公开验证的多维因素视为贡献，如数据数量、数据质量、数据收集成本等，参与者按照贡献分成不同等级，分别收敛至不同模型；在此基础上文章[杨秀清,彭长根,刘海等.基于数据质量评估的公平联邦学习方案[j].计算机与数字工程,2022,50(06).]进一步提出基于数据数量和数据质量的公平联邦学习方案，证明了数据质量评估参与者贡献的可行性。
4、联邦学习参与者的收益包括性能提升和奖励分配，通过拍卖机制、stacklberg博弈、契约理论等激励方法使参与者获得与贡献相匹配的收益。上述方法都取得了相应的效果，但该方法的容错性较低，即如果客户端在上一轮的表现欠佳，下一轮训练阶段也会处于劣势，而且这种劣势会持续下去并逐轮累计。
5、目前联邦学习的按劳分配公平性更符合现实情况，但参与客户端的贡献仅以数据质量评估难以反应客户端的实际贡献，收益分配和激励机制设计也存在一定缺陷，难以实现真正有效的贡献收益协同平衡，同时还要考虑non-iid数据导致的性能下降问题。
技术实现思路
1、本专利技术的目的在于提供一种基于贡献收益协同平衡的公平联邦学习方法，该方法包括含联邦双贡献评估模块与联邦贡献收益平衡算法。其中，联邦双贡献评估模块从本地数据数量、质量和模型质量的角度评估参与者贡献，并将时间作为贡献值的累加权重，不仅有效评估联邦参与者的贡献，还激励参与者持续提供高质量训练；联邦贡献收益平衡算法构建双层损失函数训练客户端个性化模型，内层的局部损失使用正则化约束更新，外层的全局损失进行类似fedavg更新，将个性化模型与全局模型的差异计为收益，通过客户端的贡献收益值动态调整聚合权重，实现参与者贡献与收益的协同平衡，并解决数据异构下全局模型性能差收敛不佳的问题。
2、本专利技术所采取的技术方案是：
3、一种基于贡献收益协同平衡的公平联邦学习方法，包括下述步骤：
4、s1：构建包含联邦双贡献评估模块与联邦贡献收益平衡算法的联邦学习框架；
5、s2：采用狄利克雷方法划分成非独立同分布数据；
6、s3：采用熵权法计算客户端的数据质量，再根据模型损失计算模型贡献值，并加入时间权重得到最终贡献值；
7、s4：构建双层损失函数，训练客户端本文档来自技高网...
【技术保护点】
1.一种基于贡献收益协同平衡的公平联邦学习方法，保证客户端的贡献值与收益值协同平衡，其特征在于：包括下述步骤：
2.根据权利要求1所述的一种基于贡献收益协同平衡的公平联邦学习方法，其特征在于：所述步骤S3中，采用熵权法计算客户端的数据质量，再根据模型损失计算模型贡献值，并加入时间权重得到最终贡献值，包括以下步骤：
3.根据权利要求1所述的一种基于贡献收益协同平衡的公平联邦学习方法，其特征在于：所述步骤S4中，构建双层损失函数，训练客户端的个性化模型，分别计算个性化模型与全局模型的相对熵，并视为收益值，包括以下步骤：
【技术特征摘要】
1.一种基于贡献收益协同平衡的公平联邦学习方法，保证客户端的贡献值与收益值协同平衡，其特征在于：包括下述步骤：
2.根据权利要求1所述的一种基于贡献收益协同平衡的公平联邦学习方法，其特征在于：所述步骤s3中，采用熵权法计算客户端的数据质量，再根据模型损失计算模...
【专利技术属性】
技术研发人员：刘晶，李泽峰，王旭，赵佳，董永峰，张健楠，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。