一种基于区块链的公平可信联邦学习方法技术

本发明专利技术公开一种基于区块链的公平可信联邦学习方法，包括：模型需求者在区块链上发布训练任务及交易合约传递任务，客户端对全局模型进行训练，生成局部模型参数，将局部模型参数加密传输给区块链上的对应矿工；对应矿工传播并验证加密后的局部模型参数，对应矿工将验证通过后的局部模型参数进行聚合，根据聚合结果更新全局模型并基于更新结果生成新区块，并将新区块进行广播；所有矿工对新区块进行验证并达成共识；激励合约基于共识结果，计算客户端的贡献并生成最新全局模型；重复S2

【技术实现步骤摘要】
一种基于区块链的公平可信联邦学习方法


[0001]本专利技术涉及移动通信
，特别涉及一种基于区块链的公平可信联邦学习方法。

技术介绍

[0002]联邦学习最早于2016年由谷歌提出，其目的是解决服务器收集数据来训练模型所存在的隐私泄露问题。它本质上是一种分布式机器学习框架，可以在不直接获取客户端数据的条件下完成全局模型训练，从而有效保护数据隐私。另外它不需要将客户端数据传输给服务器，从而减少了由于数据传输而付出的通信开销。联邦学习使得一些跨机构、跨部门的机器学习模型、算法的设计和训练成为了可能，因此受到了广泛关注，并被应用于工业制造、医疗保健、产品销售等领域。然而传统联邦学习也具有明显的局限性，例如服务器单点失效问题、训练过程无法追溯、激励机制不够高效等。
[0003]区块链作为一种数据共享技术，具有去中心化、不可篡改、可追溯等优势，近年来受到广泛关注，并被用于协助改进联邦学习的实现效果，即基于区块链的联邦学习（BCFL）。在BCFL框架中，区块链的去中心化架构消除了传统联邦学习对中央服务器的依赖，实现了去中心化的模型聚合。此外借助于分布式账本可以确保联邦学习训练的过程记录不可篡改、不可否认，并可利用数据的可追溯性跟踪、审计客户端行为，从而提升系统及客户端可信度。另外借助于区块链激励机制，依据客户端在训练过程中的表现（如提供的数据量、局部模型性能、通信时延），通过支付数字货币、提高信誉、提供性能更优的全局模型等方式激励客户端积极参与训练过程，提供更多的训练数据、更加优质的局部模型，从而提升全局模型的性能表现。
[0004]作为一种机器学习新范式，BCFL具有典型优势，但也存在尚未解决的问题。从可信赖AI的角度，机器学习需要满足隐私性、问责制和公平性等条件要求。BCFL具备隐私性和可追溯性，但是并不能保证属性公平。BCFL训练得到的全局模型被应用于各领域决策或预测时可能会带有偏见或歧视。现有技术为了减轻偏见而使用所有用户的敏感属性值，但BCFL的目标是通过不授予用户数据访问权限来保护隐私，加之各应用领域的跨设备、数据异构等特征，保证BCFL所训练的模型的属性公平具有较大挑战。但是，为了增强社会和公众对BCFL的信任程度，深化AI在人们工作与生活中的应用深度与广度，有必要在保护用户本地数据隐私的同时增强全局模型的属性公平性。

技术实现思路

[0005]为解决上述现有技术中所存在的全局模型缺乏属性公平问题，本专利技术提供一种基于区块链的公平可信联邦学习方法，不仅保证了客户端本地数据的隐私性、训练的可追溯性，同时显著增强了模型需求者所得到的训练后模型在决策时的属性公平。
[0006]为了实现上述技术目的，本专利技术提供了如下技术方案：一种基于区块链的公平可信联邦学习方法，包括：
S1.模型需求者在区块链上发布训练任务及交易合约传递任务，其中交易合约包括初始全局模型及训练结束条件；S2.客户端对全局模型进行训练，生成局部模型参数，将局部模型参数加密传输给区块链上的对应矿工，其中所述全局模型包括初始全局模型及最新全局模型，其中初始训练针对初始全局模型，后续训练针对对应最新全局模型；S3.对应矿工传播并验证加密后的局部模型参数，S4.对应矿工将验证通过后的局部模型参数进行聚合，根据聚合结果更新对应的全局模型并基于更新结果生成新区块，并将新区块进行广播；S5.所有矿工对新区块进行验证并达成共识；S6.激励合约基于共识结果，计算客户端的贡献并生成最新全局模型；S7.重复S2
‑
S6直到满足训练结束条件，得到优化模型；S8.交易合约将优化模型传给模型需求者。
[0007]可选的，所述交易合约还包括学习率及优化器。
[0008]可选的，客户端对全局模型进行训练的过程包括：在客户端处，获取本地数据及全局模型，使用本地数据对全局模型通过公平采样算法和公平约束函数进行训练，生成局部模型参数。
[0009]可选的，对应矿工传播并验证加密后的局部模型参数的过程包括：对应矿工通过八卦协议将加密后的局部模型参数广播到所有矿工之间，并对加密后的局部模型参数进行解密和验证，其中验证所述局部模型参数的签名、组成部分是否有效，若有效则验证通过，将验证通过后的局部模型参数添加到对应的交易池中。
[0010]可选的，对应矿工将验证完成后的局部模型参数进行聚合的过程包括：对应矿工的交易池中验证通过的局部模型参数达到阈值时，对应矿工通过基于双重权重的聚合机制对交易池中的局部模型参数进行模型聚合，其中聚合机制中根据局部模型参数的属性公平度量和延时程度自适应地调整局部模型参数的聚合权重。
[0011]可选的，所有矿工对新区块进行验证并达成共识的过程包括：对应矿工将新区块广播给所有矿工，收到新区块的矿工对新区块的信息进行检验，并通过投票的方式达成共识；其中所述新区块的信息包括：新区块的签名、局部模型参数的数据、局部模型参数的验证情况及全局模型的聚合情况。
[0012]可选的，激励合约计算客户端的贡献并生成最新全局模型过程包括：在达成共识后，激励合约被触发，激励合约获取客户端对应的局部模型的性能及矿工对客户端的评分，根据性能及评分，计算客户端在本轮训练过程中的贡献，并根据贡献结果生成最新全局模型，并将最新全局模型分发给客户端。
[0013]可选的，交易合约将优化模型传给模型需求者之后还包括：模型需求者通过交易合约根据客户端的贡献对不同客户端进行货币奖励。
[0014]本专利技术具有如下技术效果：1.本专利技术在模型聚合、客户端贡献评估等多个环节考虑了属性公平指标，提升了模型需求者所获得的模型的属性公平；基于双重权重的聚合机制还考虑了局部模型的陈旧程度，提升了全局模型的聚合效率；结合基于自报告的方法和基于评价的方法提出的多维评估指标可以客观、全面衡量客户端的贡献；激励机制能够提供货币和模型两种奖励，可以
满足不同客户端的需求。
[0015]2.本专利技术基于区块链构建公平可信的联邦学习系统，解决了联邦学习依赖中央服务器而导致的单点故障以及不被信任而导致客户端不愿意参与训练的问题，在保证模型准确率的同时，可以显著提高全局模型在决策时的属性公平，并且具备不错的聚合效率。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术实施例提供的整体结构示意图；图2为本专利技术实施例提供的分布式账本的数据结构示意图；图3为本专利技术实施例提供的整体工作流程示意图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的公平可信联邦学习方法，其特征在于，包括：S1.模型需求者在区块链上发布训练任务及交易合约传递任务，其中交易合约包括初始全局模型及训练结束条件；S2.客户端对全局模型进行训练，生成局部模型参数，将局部模型参数加密传输给区块链上的对应矿工，其中所述全局模型包括初始全局模型及最新全局模型，其中初始训练针对初始全局模型，后续训练针对对应最新全局模型；S3.对应矿工传播并验证加密后的局部模型参数，S4.对应矿工将验证通过后的局部模型参数进行聚合，根据聚合结果更新对应的全局模型并基于更新结果生成新区块，并将新区块进行广播；S5.所有矿工对新区块进行验证并达成共识；S6.激励合约基于共识结果，计算客户端的贡献并生成最新全局模型；S7.重复S2
‑
S6直到满足训练结束条件，得到优化模型；S8.交易合约将优化模型传给模型需求者以实现初始全局模型的公平优化。2.根据权利要求1所述的基于区块链的公平可信联邦学习方法，其特征在于：所述交易合约还包括学习率及优化器。3.根据权利要求1所述的基于区块链的公平可信联邦学习方法，其特征在于：客户端对全局模型进行训练的过程包括：在客户端处，获取本地数据及全局模型，使用本地数据对全局模型通过公平采样算法和公平约束函数进行训练，生成局部模型参数。4.根据权利要求1所述的基于区块链的公平可信联邦学习方法，其特征在于：对应矿工传播并验证加密后的局部模型参数的过程包括：对应矿工通过八卦协议将加密后的局部模型参数广播到所有矿工之间，并对加密后的局部模型...

【专利技术属性】
技术研发人员：古天龙，王梦圆，李龙，李晶晶，郝峰锐，
申请(专利权)人：暨南大学，
类型：发明
国别省市：