基于区块链的分布式隐私计算方法及装置制造方法及图纸

技术编号:30156844 阅读:18 留言:0更新日期:2021-09-25 15:08
本发明专利技术提供一种基于区块链的分布式隐私计算方法及装置,所述装置包括区块链基础设施层、分布式并行计算层和界面展示层,所述方法包括计算请求客户端发布计算任务,对计算任务进行分解;任务分发模块进行任务分发,计算节点返回任务认领确认消息;计算请求客户端编写利益分配智能合约;计算节点下载训练模型进行训练,将结果返回给计算请求客户端;安全验证模块对计算节点传回的结果进行验证,并融合结果得到最终联邦模型;智能合约利用利益分配函数对各计算节点进行利益分配。与相关技术相比,本发明专利技术提供的基于区块链的分布式隐私计算方法及装置其数据隐私安全性好,降低计算成本,提高节点数据共享的积极性。提高节点数据共享的积极性。提高节点数据共享的积极性。

【技术实现步骤摘要】
基于区块链的分布式隐私计算方法及装置


[0001]本专利技术涉及区块链
,尤其涉及一种基于区块链的分布式隐私计算方法及装置。

技术介绍

[0002]人工智能要在杂乱无章的海量内容中准确、快速的识别出目标图像/语音,就需要收集大量用户的数据、素材进行模型训练,不断优化识别模型。随着深度学习成为人工智能行业的主流算法,其所带来的高度依赖数据集的大规模学习方法,极大增加了对于大规模数据集的需求,一个优秀的深度学习模型是算法通过大量的数据集训练而达到的,耗费资源巨大又耗时长,因此数据集和计算能力成为了深度学习进行模型训练的关键。
[0003]现有技术存在计算资源集中,计算成本高和中心化的缺点。在计算能力方面,对于处理大数据的复杂计算任务,现有技术中,计算机科学界有两大方向,一个是集中式计算,就是通过不断增加处理器的数量来增加单个计算机的计算能力,从而提高计算处理的速度,另一个就是分布式计算,把一组计算机通过网络相互连接组成分散系统,然后将需要处理的大量计算任务,分解为多个部分,交由分散系统内的计算机组同时进行计算,最终将这些计算结果合并得到最终结果。集中式计算的方式往往投资巨大,需求量大时自己提供的资源往往不足,没需要时又容易造成资源浪费。分布式计算虽然能够将计算任务分配到不同计算机同时进行计算,但是还是采用中心化的分配方式,各分布式系统还是属于统一中心机构,仍然存在成本和数据分发过程中的安全性问题。
[0004]现有技术存在数据隐私问题,并由此造成的数据共享积极性低的缺点。在数据需求方面,现有的集中式和分布式计算方案需要数据在集中的物理位置,难以确保数据的安全性,容易导致数据的泄漏。目前个体或机构越来越重视数据隐私性,对于数据的分享越来越谨慎,因此很多数据方不愿意将自己的数据共享出去进行模型训练。
[0005]因此,有必要提供一种新型的基于区块链的分布式隐私计算方法及装置,以克服上述缺陷。

技术实现思路

[0006]本专利技术的目的在于提供一种新型的基于区块链的分布式隐私计算方法及装置,其数据隐私安全性好,降低计算成本,提高节点数据共享的积极性。
[0007]为了达到上述目的,本专利技术提供一种基于区块链的分布式隐私计算方法,包括如下步骤:
[0008]步骤一、通过计算请求客户端发布计算任务和初始模型,再通过资源调度模块根据计算任务对加密密钥进行秘密分解;
[0009]步骤二、通过任务分发模块根据任务分解选择合适的计算节点进行任务分发,计算节点进行验证后返回任务认领确认消息给计算请求客户端;
[0010]步骤三、计算请求客户端接收到任务认领确认消息后,调用智能合约接口编写利
益分配智能合约,并上传至区块链网络;
[0011]步骤四、各计算节点认领任务后下载训练模型进行联邦训练,并将计算结果返回给计算请求客户端;
[0012]步骤五、计算请求客户端调用安全验证模块对计算节点传回的结果进行验证,并对各方训练结果进行融合得到最终联邦模型;
[0013]步骤六、智能合约利用利益分配函数对各计算节点进行利益分配,并根据利益分配结果实时分发激励,同时将执行过程和各用户的最新资产状态上链存储,实现资产和激励存证。
[0014]本专利技术另一方面提供一种基于区块链的分布式隐私计算装置,包括:区块链基础设施层、分布式并行计算层和界面展示层;
[0015]所述区块基础设施层用于存储信息、合约和工作证明,并激励拥有算力的用户提供服务,所述区块链基础设施层包括分布式账本模块、加密算法模块、共识机制模块以及智能合约模块;
[0016]所述分布式并行计算层用于资源调度、任务分发及信用验证;所述分布式并行计算层包括资源调度模块、任务分发模块、信用系统模块、结果验证模块和容错处理模块;
[0017]所述界面展示层用于提供可视化的页面展示和面向用户的便捷操作体验,所述界面展示层包括发布项目展示模块、计算资源贡献度展示模块、历史任务展示模块以及用户管理界面。
[0018]本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述基于区块链的分布式隐私计算方法的步骤。
[0019]本专利技术还提供一种计算机终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于区块链的分布式隐私计算方法的步骤。
[0020]与相关技术相比较,本专利技术在满足数据持有方隐私需求的前提下,把数据方闲置的计算资源充分利用起来,在不断满足业务发展要求的同时降低成本;通过分布式网络充分利用社会上大量闲置的计算资源,组成超级计算网络,利用区块链智能合约不可篡改的特点提供一个存证溯源且即时激励的联邦学习装置,利用基于联邦学习分布式计算方法提供隐私安全的模型训练环境,本方案可带来的有益效果有:
[0021](1)利用区块链的分布式特点将社会上大量闲置的计算资源组成超级计算网络,同时利用联邦学习的分布式协同计算特点,实现“数据不出门”、“数据可用不可见”,让数据在联邦计算节点训练完成后直接返回模型结果,保护计算方的数据隐私安全。
[0022](2)通过秘密共享加密算法的消息机密性和消息可恢复性,只有指定计算方才能下载和使用训练模型,保护计算请求客户端的数据隐私安全。
[0023](3)利用智能合约的不可篡改和自动执行特性,综合考虑各计算方的成本、任务量等因素对算力贡献者采用token的形式分发奖励,并将用户的资产和合约执行结果上链存储,在保证系统安全、稳定运行的同时,也让所有算力贡献者能从中获取回报,从而达到人工智能厂商低成本获取到神经网络计算能力的目的。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
[0025]图1为本专利技术基于区块链的分布式隐私计算装置的系统架构图;
[0026]图2为本专利技术基于区块链的分布式隐私计算方法的流程图;
[0027]图3为本专利技术基于区块链的分布式隐私计算方法的系统模型图;
[0028]图4为本专利技术基于区块链的分布式隐私计算方法的训练模型图。
具体实施方式
[0029]下面将对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本专利技术的一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利技术保护的范围。
[0030]本专利技术方案构建的基于区块链的分布式隐私计算装置功能框架如图1所示,底层为区块链基础设施层,主要功能是用来存储用户的资产、合约和工作证明等信息,构建一个公开公平透明的计算激励模式,激励算力拥有者贡献自己闲置的计算资源为有需求的用户提本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的分布式隐私计算方法,其特征在于,包括如下步骤:步骤一、通过计算请求客户端发布计算任务和初始模型,再通过资源调度模块根据计算任务对加密密钥进行秘密分解;步骤二、通过任务分发模块根据任务分解选择合适的计算节点进行任务分发,计算节点进行验证后返回任务认领确认消息给计算请求客户端;步骤三、计算请求客户端接收到任务认领确认消息后,调用智能合约接口编写利益分配智能合约,并上传至区块链网络;步骤四、各计算节点认领任务后下载训练模型进行联邦训练,并将计算结果返回给计算请求客户端;步骤五、计算请求客户端调用安全验证模块对计算节点传回的结果进行验证,并对各方训练结果进行融合得到最终联邦模型;步骤六、智能合约利用利益分配函数对各计算节点进行利益分配,并根据利益分配结果实时分发激励,同时将执行过程和各用户的最新资产状态上链存储,实现资产和激励存证。2.根据权利要求1所述的基于区块链的分布式隐私计算方法,其特征在于,在所述步骤一中还包括:计算请求客户端将所需训练的初始模型存储在本地服务器,并为该模型下载接口增加一个接口调用参数;计算请求客户端生成一个临时密钥对该参数和模型存储地址进行加密,并将加密后的数据上传到区块链;计算请求客户端调用资源调度模块执行秘密分发算法,将临时密钥按照需求的计算节点数量随机拆分为n个子密钥份额,并将恢复密钥门限阈值设置为K。3.根据权利要求2所述的基于区块链的分布式隐私计算方法,其特征在于,在所述步骤二中还包括:任务分发模块根据任务分解结果和计算请求客户端的需求,对每个计算任务的算力要求进行估算;通过基于最佳路由和算力的计算节点选举方法在符合该模型训练数据集类型的节点中选择符合算力要求且网络分发路由路径最佳的节点进行本任务的协同计算节点,并发送加密数据包给协同计算节点;计算节点对加密数据包进行解密并进行数字签名认证,验证通过返回任务认领确认消息给计算请求客户端。4.根据权利要求3所述的基于区块链的分布式隐私计算方法,其特征在于,在所述步骤三中还包括:计算请求客户端编写此次任务的利益分配智能合约,并将该智能合约发布至区块链网络中;计算节点接收到智能合约后检查智能合约中的计算节点列表中是否包含本节点,确认是否同意智能合约内容,并在智能合约中签署数字签名;当智能合约中约定计算节点都对合约进行签名确认后,生成合约调用地址开始生效,并根据合约规则对各计算节点进行工作激励。
5.根据权利要求3所述的基于区块链的分布式隐私计算方法,其特征在于,在所述步骤四中还包括:计算节点收到计...

【专利技术属性】
技术研发人员:杨征钟思琪尹海波王云丽谭林黄强
申请(专利权)人:湖南天河国云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1