基于公平性和信誉机制的联邦学习系统及方法技术方案

本发明专利技术提供了一种基于公平性和信誉机制的联邦学习系统及方法，包括：发布训练任务信息，接受参与方基于所述训练任务信息提交的报价信息并创建对应的数据库；计算参与方的公平性和信誉的效用值；获得被选择的参与方集合；发送全局模型给所述被选择的参与方，所述被选择的参与方本地训练后生成新一轮的模型；对所述模型进行聚合得到新一轮全局模型；验证所述新一轮的模型性能同时更新所述模型对应的参与方数据库中的记录信息，并反馈所述参与方对应的报价报酬；直至全局模型达到预期效果或联邦学习达到预定轮数。本发明专利技术中联邦学习参与方选择是一个动态的多轮过程，提升了联邦学习系统的安全性、稳定性和高效性。稳定性和高效性。稳定性和高效性。

【技术实现步骤摘要】
基于公平性和信誉机制的联邦学习系统及方法


[0001]本专利技术涉及联邦学习及算法公平性
，具体地，涉及一种基于公平性和信誉机制的联邦学习系统及方法，尤其是一种考虑机器学习公平性和训练高效性的联邦学习系统及其构建方法。

技术介绍

[0002]随着人工智能技术的飞速发展，人们的工作生活也发生了巨大改变，人工智能技术极大地融入并改善了人们的正常生活。这些人工智能技术的成功，无一不是建立在海量数据基础之上，通过对这些大数据的训练得到模型，可以说数据是推动人工智能技术的“燃料”。
[0003]然而，事实却是，我们面对的数据常常是碎片化、小规模和分散化的，不能随意收集由移动设备产生的数据。像银行这样的机构，由于行业特殊性，用户数据是隐私的、高度保密的，使得在不同机构间不能简单地将所有数据聚合训练模型，而单个银行所拥有的数据量又可能很有限。另一方面，随着人们数据所有权与隐私保护意识的不断增强，以及各类数据监管法律法规相继出台，极大地制约了数据的收集与使用。因此，高质量的海量数据通常难以集中获得，我们不得不面临“数据孤岛”问题。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于公平性和信誉机制的联邦学习方法，其特征在于，包括：步骤S1：发布训练任务信息，接受参与方基于所述训练任务信息提交的报价信息并创建对应的数据库；步骤S2：根据所述数据库中的记录信息，计算参与方的公平性效用值和信誉效用值；步骤S3：根据所述公平性效用值和信誉效用值，获得被选择的参与方的集合；步骤S4：发送全局模型给所述被选择的参与方，所述被选择的参与方本地训练后生成新一轮的上传模型；步骤S5：对所述新一轮的上传模型进行聚合得到新一轮全局模型；步骤S6：验证所述新一轮的上传模型性能，同时更新所述上传模型对应的参与方数据库中的记录信息，并根据报价信息反馈所述参与方对应的报酬；重复步骤S2至S6，直至全局模型达到预期效果或联邦学习达到预定轮数。2.根据权利要求1所述的基于公平性和信誉机制的联邦学习方法，其特征在于，所述任务信息包括训练要求与每轮预算；所述报价信息为完成一轮联邦学习任务所需的报酬；在联邦学习第一轮开始前，初始化数据库中的记录信息为0，每一轮结束时更新所述数据库中的记录信息。3.根据权利要求1所述的基于公平性和信誉机制的联邦学习方法，其特征在于，所述数据库中的记录信息包括：响应任务的参与方的公平性分数、信誉值；步骤S2还包括：步骤S2.1：服务方根据公平性效用评分机制对公平性效用值进行计算，计算方法如下：其中，g(fair(c
i
))表示参与方c
i
的公平性效用值，fair(c
i
)表示数据库中记录的参与方c
i
的公平性分数，c
i
表示第i个参与方，K表示参与方的数量；e表示自然底数；c
j
表示第j个参与方；步骤S2.2：服务方根据信誉效用评分机制对信誉效用值进行计算，计算方法如下：其中，h(r(c
i
))表示参与方c
i
的信誉效用值，r(c
i
)表示数据库中记录的参与方c
i
的信誉值，z(r(c
i
))表示参与方c
i
的信誉价值函数,信誉价值函数z(r(c
i
))如下：其中，表示所有参与方的信誉均值，α、β和γ表示可调的参数。4.根据权利要求1所述的基于公平性和信誉机制的联邦学习方法，其特征在于，在所述步骤S3中，根据所述公平性效用值和信誉效用值，构建联邦学习参与方选择优化模型，通过所述联邦学习参与方选择优化模型获得被选择的参与方的集合；
所述构建联邦学习参与方选择优化模型，包括：满足如下条件：其中，b
i
表示参与方c
i
的报价，B表示一轮联邦学习的预算，N表示参与报价联邦学习的参与方总数量，x
i
表示候选参与方c
i
是否被选择参与本轮联邦学习，x
i
＝0时表示未被选择参与本轮联邦学习，x
i
＝1时表示被选择参与本轮联邦学习，本轮参与方的选择在总预算内进行构建，公式如下：其中，w
f
表示效用权重系数，取值为0≤w
f
≤1。5.根据权利要求1所述的基于公平性和信誉机制的联邦学习方法，其特征在于，步骤S6还包括：步骤S6.1：服务方通过拥有的验证集对上传模型的公平性进行评估，根据评估结果更新数据库中记录的参与方的公平性分数；采用公平性指标Equalopportunity作为公平性分数计算标准，计算公式如下：其中，EOD表示上传模型的公平性得分，表示预测标签，X
s
表示受保护属性，Y表示真实标签,Pr表示占比；计算本轮被选择参与方上传模型的公平性分数EOD并更新参与方的公平性分数：其中，表示被选择的参与方的集合，EOD
i
表示被选择参与方c
i
的上传模型的公平性得分；步骤S6.2：服务方根据夏普利值Shapleyvalue确定本轮被选择参与方对本轮全局模型预测性能的贡献度，计算公式如下：其中，sv
i
表示参与方c
i
的夏普利值Shapleyvalue，表示集合除去参与方c
i
后的真子集，v(
·
)表示括号内参与方集合组成的联盟进行模型聚合得到的全局模型在验证集上的AUC得分；步骤S6.3：确定信誉更新系数，计算方式如下：
其中，UpR
i
表示参与方c
i
的信誉更新系数，ω表示奖励系数，ψ表示惩罚系数，bad
i
表示数据库中记录的参与方c
i
的无效次数；bad
i
的统计标准为sv
i
小于等于0，具体如下：其中，bad
i
＝bad
i
+1表示bad
i
自增1；步骤S6.4：根据信誉更新系数、贡献度以及报价对数据库中记录的信誉值进行更新，更新算法如下：6.一种...

【专利技术属性】
技术研发人员：蒋炜，张忠良，郑志强，费秦君，
申请(专利权)人：上海交通大学杭州电子科技大学，
类型：发明
国别省市：