一种数据共享方法以及应用其的计算机设备及可读存储介质技术

技术编号:26342917 阅读:19 留言:0更新日期:2020-11-13 20:39
本发明专利技术公开了一种数据共享方法以及应用其的计算机设备及可读存储介质,属于数据信息安全技术领域。本发明专利技术结合区块链技术和联邦学习技术,构建基于区块链和联邦学习的数据安全共享模型,设计数据共享基本流程;以实现可靠的联邦学习为目标,设计基于区块链和节点工作质量的工作节点选择算法;修改区块链的共识方法,设计一种基于模型训练质量的激励机制共识算法,已达到鼓励优秀工作节点工作和简化共识过程,减少共识成本的目的;以平衡数据安全性和模型实用性为目标,选择适用于联邦学习的差分隐私算法。本发明专利技术能够解决数据共享过程中隐私泄露的问题;将区块链技术结合到数据共享中,保障数据的安全可信;同时将提高联邦学习任务的效率。

【技术实现步骤摘要】
一种数据共享方法以及应用其的计算机设备及可读存储介质
本专利技术涉及一种数据共享方法以及应用其的计算机设备及可读存储介质,属于数据信息安全

技术介绍
随着层出不叠的智能设备在社会生活中的普及,如智能工厂、智慧城市、智能家居,用户的隐私越来越透明化。为了加强对用户的个人信息保护,同时实现这些单个领域平台之间的数据合作共享,避免集中式平台在普遍存在的高成本、高延时与低效率的缺点,需要设计了一个安全可信的数据共享机制。已有技术方案1:专利号为201910720373.9的《一种混合联邦学习方法及架构》专利,本专利技术公开了一种混合联邦学习方法及架构,该方法适用于具有多组参与者的联邦学习模型训练;其中方法为:针对每个组,根据组内参与者的数据集联合训练每组的第一联邦学习模型;对各组的第一联邦学习模型进行融合得到第二联邦学习模型,并将所述第二联邦学习模型发送给每个组内参与者;针对每个组,根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型,返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤,直至模型训练结束。已有技术方案2:专利号为201910824202.0的《一种联邦学习方法及装置》专利,本专利技术公开了一种联邦学习方法及装置,其中方法为:协调者接收多个参与者的报告;所述协调者根据所述多个参与者的报告,确定满足预设条件的参与者,作为参与联邦学习的参与者;其中,所述报告表征了参与者预期的可用资源情况;所述协调者通过所述参与联邦学习的参与者进行联邦学习模型训练。上述方法应用于金融科技(Fintech)时,尽可能地剔除不满足预期可用资源情况的参与者,从而在协调者通过所述参与联邦学习的参与者进行联邦学习的过程中,减小了联邦学习过程中参与者传输效率对联邦学习模型性能的影响。已有技术方案3:专利号为201910720601.2的《一种联邦学习中的信息传输方法及装置》专利,本专利技术公开了一种联邦学习中的信息传输方法及装置,其中方法适用于包括第一参与者和第二参与者的联邦学习,其中,所述第一参与者和所述第二参与者的训练数据集之间包含有相同的样本对象及不同的样本特征;所述方法包括:协调者获取来自所述第一参与者的第一结果和所述第二参与者的第二结果;所述协调者按照预设运算规则,对所述第一结果和所述第二结果进行运算,获取运算后的第三结果;所述协调者将所述第三结果发送至所述第一参与者和所述第二参与者。已有技术方案1公开了一种混合联邦学习方法及架构,该方法适用于具有多组参与者的联邦学习模型训练;但未考虑如何保证数据可信的问题。已有技术方案2公开了一种联邦学习方法及装置,其中方法为:协调者接收多个参与者的报告;所述协调者根据所述多个参与者的报告,确定满足预设条件的参与者,作为参与联邦学习的参与者;其中,所述报告表征了参与者预期的可用资源情况;所述协调者通过所述参与联邦学习的参与者进行联邦学习模型训练。但未考虑如何对高的参与者进行奖励以激励各参与者更积极的工作。已有技术方案3本专利技术公开了一种联邦学习中的信息传输方法及装置,适用于包括第一参与者和第二参与者的联邦学习。但未考虑到如何选取可靠的参与者进行联邦学习任务。
技术实现思路
针对现有技术的缺陷,本专利技术的目的在于提供一种能够解决数据共享过程中隐私泄露的问题;将区块链技术结合到数据共享中,保障数据的安全可信;采用联邦学习来确保在数据共享中,用户的原始数据不被传播,而只传播模型参数,以保护用户隐私;同时,解决在联邦学习过程中选择符合设定规则的工作节点的难题;进一步,进行差分隐私保护和设计共识激励机制来鼓励各工作节点积极参与;通过解决以上问题保证数据共享过程中用户隐私信息的安全,同时将提高联邦学习任务的效率的数据共享方法以及应用其的计算机设备及可读存储介质。为实现上述目的,本专利技术的技术方案为:一种基于区块链与联邦学习的安全可信的数据共享方法,包括:第一步:把若干个工作节点记录在区块链网络中。区块链中存储每个工作节点每次参与协同训练的工作表现、本地模型与最终的全局模型。第二步,从区块链存储的工作节点中,筛选符合设定规则的至少一个工作节点。为了在联邦学习过程中训练出更好的模型,就要选择可靠且高效的工作节点,这些节点的表现为用更多的本地数据和更多的资源进行模型的训练,即工作节点在训练中的贡献,贡献了多少数据和计算资源;使得全局模型的准确率提高。第三步,建立共识激励机制对上述筛选出的符合设定规则的工作节点进行奖励,并将上述符合设定规则的工作节点作为联邦学习任务的共识联盟。为保证可靠的联邦学习,有必要给予在任务训练过程中表现优秀的工作节点相应的奖励以激励它们以后更好的工作,更积极的参与到联邦学习任务中来。第四步,对共识联盟中的工作节点进行本地模型的训练;并利用差分隐私算法对本地模型数据进行处理。第五步,对上述已经处理完成的本地模型的参数利用联邦学习方法进行传播。第六步,根据得到的本地模型的参数,训练全局模型,实现数据的共享。为了保护用户的隐私安全,同时为了更好的进行联邦学习任务,采用本地上传训练好的模型结果代替原始数据。这种方法很大程度地保护了用户隐私安全,但还是存在差分攻击的危险。一些攻击者可以通过对结果的推导,在一定程度上窃取用户的隐私信息。因此在联邦学习的过程中结合差分隐私算法,对本地模型结果的输出进行处理,防止非法攻击者从算法输出来窃取用户的隐私数据。传统的数据共享模型,将各个设备的数据上传到同一的中心服务器,再由这个中心服务器利用这些数据进行模型的训练学习,最后给各个设备提供更好的服务。但是这种方式存在很大的安全问题,首先各个用户上传自己的数据,无异于暴露自己的隐私,其次一旦中央服务器被攻击,会有信息泄露与服务瘫痪的风险。本专利技术结合区块链技术和联邦学习技术,构建基于区块链和联邦学习的数据安全共享模型,设计数据共享基本流程;以实现可靠的联邦学习为目标,设计基于区块链和节点工作质量的工作节点选择算法;修改区块链的共识方法,设计一种基于模型训练质量的激励机制共识算法,已达到鼓励优秀工作节点工作和简化共识过程,减少共识成本的目的;以平衡数据安全性和模型实用性为目标,选择适用于联邦学习的差分隐私算法。本专利技术能够解决数据共享过程中隐私泄露的问题;将区块链技术结合到数据共享中,保障数据的安全可信;采用联邦学习来确保在数据共享中,用户的原始数据不被传播,而只传播模型参数,以保护用户隐私;同时,解决在联邦学习过程中选择符合设定规则的工作节点的难题;进一步,进行差分隐私保护和设计共识激励机制来鼓励各工作节点积极参与;通过解决以上问题保证数据共享过程中用户隐私信息的安全,同时将提高联邦学习任务的效率。本专利技术的一种共识激励机制–IncentiveinProofofmodelQuality(IPoQ),即将激励机制应用于区块链的共识中。这样设计有两点好处:实现了联邦学习中的激励机制,让努力工作的节点得到相应的奖励,激励本文档来自技高网
...

【技术保护点】
1.一种基于区块链与联邦学习的安全可信的数据共享方法,其特征在于,/n包括:/n第一步:把若干个工作节点记录在区块链网络中;/n第二步,从区块链存储的工作节点中,筛选符合设定规则的至少一个工作节点;/n第三步,建立共识激励机制对上述筛选出的符合设定规则的工作节点进行奖励,并将上述符合设定规则的工作节点作为联邦学习任务的共识联盟;/n第四步,对共识联盟中的工作节点进行本地模型的训练;/n并利用差分隐私算法对本地模型数据进行处理;/n第五步,对上述已经处理完成的本地模型的参数利用联邦学习方法进行传播;/n第六步,根据得到的本地模型的参数,训练全局模型,实现数据的共享。/n

【技术特征摘要】
1.一种基于区块链与联邦学习的安全可信的数据共享方法,其特征在于,
包括:
第一步:把若干个工作节点记录在区块链网络中;
第二步,从区块链存储的工作节点中,筛选符合设定规则的至少一个工作节点;
第三步,建立共识激励机制对上述筛选出的符合设定规则的工作节点进行奖励,并将上述符合设定规则的工作节点作为联邦学习任务的共识联盟;
第四步,对共识联盟中的工作节点进行本地模型的训练;
并利用差分隐私算法对本地模型数据进行处理;
第五步,对上述已经处理完成的本地模型的参数利用联邦学习方法进行传播;
第六步,根据得到的本地模型的参数,训练全局模型,实现数据的共享。


2.如权利要求1所述的一种基于区块链与联邦学习的安全可信的数据共享方法,其特征在于,
所述符合设定规则的工作节点为综合评分高于第一设定值的工作节点;
筛选符合设定规则的至少一个工作节点,包括:根据区块链中存储的工作节点n次工作表现进行综合评分;
确定这n次工作表现分别对应的评分权重wi;
其中工作节点的综合评分的计算公式如下:

,(1)
其中:Rj代表第j个工作节点的综合评分,ri表示工作节点在区块链中存储的第i次工作
表现,且;
计算完各个工作节点的综合评分后,根据Rj值进行降序排序,筛选出综合评分高于第一设定值的K个工作节点作为符合设定规则的工作节点,其本次工作表现也会被记录在区块链中,作为下一次选择的依据。


3.如权利要求2所述的一种基于区块链与联邦学习的安全可信的数据共享方法,其特征在于,
区块链中存储的工作节点的每次工作表现由该工作节点进行训练的数据量,贡献的计算资源和本地模型的每次准确率决定;其中Di,Ci,Ai分别代表工作节点第i次工作表现所贡献的数据量,计算资源和本地模型训练的准确率,则ri表示为如下公式:

,(2)
其中分别表示上述工作节点的权重;。


4.如权利要求3所述的一种基于区块链与联邦学习的安全可信的数据共享方法,其特征在于,
所述工作节点第i次工作表现所贡献的数据量是与任务相关或是有益于任务训练的有效数据;
计算资源以工作节点贡献的CPU和GPU资源为准;
本地模型训练的准确率为工作节点训练迭代过程中各次本地训练的准确率的算术平均值。


5.如权利要求1所述的一种基于区块链与联邦学习的安全可信的数据共享方法,其特征在于,
建立共识激励机制,包括:
根据之前的本地模型的交易信息,结合公式计算出每个工作节点的MAE;
根据每个工作节点的MAE,给予每个节点相应的奖励,由任务发布方制定,且MAE越小,奖励越大;<...

【专利技术属性】
技术研发人员:颜拥戴彦郭少勇周自强韩嘉佳姚影亓峰邱雪松喻鹏相宝玉王刘旺
申请(专利权)人:国网浙江省电力有限公司电力科学研究院北京邮电大学
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1