一种基于区块链的轻量级分组共识的联邦学习方法技术

本发明专利技术设计了一种基于区块链的轻量级分组共识的联邦学习方法，在隐私保护的时代，联邦学习和区块链在各个领域迅速发展，但是由于联邦学习需要频繁更新，每次更新在区块链上需要达成共识，传统的共识算法会大大增加系统的成本，以及联邦学习中存在恶意节点进行投毒攻击致使模型精度不高。本方法在上述环节引入了一种分组共识方法，降低了共识成本，也能抵御系统中的投毒攻击，同时在该系统中引入星际文件系统(IPFS)存储以往轮次的更新内容，使得节省了大量区块容量，使区块链和联邦学习系统在未来有更好地发展。未来有更好地发展。未来有更好地发展。

【技术实现步骤摘要】
一种基于区块链的轻量级分组共识的联邦学习方法


[0001]本专利技术涉及区块链和联邦学习
，更具体地，涉及一种具有轻量级分组共识的区块链联邦学习方法。

技术介绍

[0002]如今的机器学习算法越来越依赖于大量数据，然而实际情况却是，在隐私保护的限制下，数据分散在不同的组织中，因此当前人工智能的发展面临数据孤岛问题。数据孤岛问题极大地制约了大数据的可用性。互联网虽然每天产生数以亿计的数据，然而其中缺乏有用的高维度、高质量的数据。例如，不同医院的数据是孤立的，而这些数据都是本地隐私数据互不共享，成为“数据孤岛”。由于每个数据岛在大小和实际分布方面都有局限性，因此一家医院可能无法对特定任务训练具有良好预测准确性的高质量模型。理想情况下，如果多家医院可以结合多方数据共同训练机器学习模型，则可以实现更准确的模型训练结果。然而，由于各种政策和法规，数据不能简单地在医院之间共享。同样地，“数据孤岛”现象在金融，政府和供应链等许多领域也很普遍。新兴的机器学习技术
‑‑
联邦学习(Federated Learning,FL)已成为机器学习中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的轻量级分组共识的联邦学习方法，其特征在于，所述方法包括如下步骤：S1:当节点需要加入系统时，由于采用联盟区块链，需要权限认证，认证通过后才能进入系统；S2:当进入系统的节点达到一定数量后，停止节点进入申请，准备开始本轮的模型训练任务；S3:首先为了减少共识的计算量，首轮模型训练采取随机分组的方式，将所有节点按照一定比例分为训练组和共识组，每轮结束后共识组的成员会被替换；S4:在区块链上面发布初始模型，训练组的节点从区块链上获取初始模型，通过模型训练算法和本地数据进行模型训练，训练结束得到的模型梯度参数发送给共识组节点，由差分隐私保证梯度参数传输的安全性；S5:共识组节点收到这些梯度参数后，利用本地数据去验证，如果是恶意节点则打上相应标签，如果是正常节点给出相应的模型得分，分数最终会转化为一定的收益，激励各个节点，共识组内采取一种委员会共识算法达成最终共识，组内存在一个领导节点将得分的中位数作为该节点最终模型得分，随后将该节点的一些信息比如节点地址、模型得分、更新轮次等打包进入区块，发布到链上；S6:当链上的更新区块达到一定数量后，触发智能合约自动实现聚合任务，最终形成新的全局模型，当新一轮模型训练任务时，会踢出上一轮中的恶意节点，并引入新的节点，共识组成员也将由上一轮中得分较高的节点替换；S7:当上一轮更新任务结束时，为了节省区块容量，触发智能合约，将上一轮所有更新块内容上传到IPFS中，并返回相应的地址；S8:重复以上训练流程，最终全局模型得到收敛，所有训练结束；所述S3中节点的分组以及替换策略，具体过程如下：(1)首先固定好本轮参与训练的所有节点后，利用随机算法分出两个组，训练组成员占60％，共识组成员占40％；(2)由于系统采用联盟区块链，加入的节点需要经过认证，所以大部分节点是诚实的，利用随机划分，更加保证安全性；(3)当然如果共识组的成员一直不替换，则可能造成诚实节点变为恶意节点从中获取巨大利益，因此当一轮更新结束后，将上一轮训练组的节点的得分从高到低排序，选取多余共识组节点数量的20％，然后采用随机算法选出新一轮的共识组成员；(4)选取多余共识组成员的节点目的为了使上一轮节点不是出于有目的性的使模型训练好；所述S4中的模型训练算法，具体过程如下：(1)首先搭建联盟区...

【专利技术属性】
技术研发人员：徐光侠，谭文成，董景楠，刘勇，黄勇飞，宋晓玲，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：