System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及联邦学习领域,尤其涉及一种基于双层区块链的物联网设备的联邦学习方法。
技术介绍
1、区块链是一种分布式账本,具有去中心化、去信任的特点,被广泛用于单点故障问题、多方信任问题的解决方案,是当今研究的热点。
2、联邦学习是一种分布式机器学习范式,不同于传统的机器学习范式通过单个节点训练模型,联邦学习可以在多个设备之间联合训练模型,原始数据不需要发送到其他设备中,有效保证数据安全,解决日益严重的数据孤岛问题。联邦学习分为横向联邦学习、纵向联邦学习、联邦迁移学习。横向联邦学习适用于多个不同参与方本地数据特征有较多重叠的场景,纵向联邦学习适用于多个共同参与方的不同数据特征的场景,联邦迁移学习适用于多个不同参与方的不同数据特征场景。
3、物联网设备分布在多个不同领域,相同领域内设备可以通过横向联邦学习共同训练模型,而在不同领域中,设备无法有效利用其他领域的数据,并且在新的领域加入后,已经训练的模型不适用,只能重新训练模型,影响训练效率。
4、基于区块链的联邦学习让模型得到分布式存储,同时能够保证模型的安全性和隐私性,降低传统联邦学习容易发生单点故障的风险。
技术实现思路
1、本专利技术的目的在于提供一种基于双层区块链的物联网设备的联邦学习方法。
2、本专利技术采用的技术方案是:
3、一种基于双层区块链的物联网设备的联邦学习方法,参与设备包括:域间区块链、域内区块链以及各种物联网设备,每个域中具有一组雾服务器,从域内随机选
4、步骤1,模型下发阶段:在域内一组雾服务器中随机选择一台雾服务器作为主服务器,主服务器初始化一个学习模型并通过域内一组雾服务器下发到邻近的物联网设备;
5、步骤2,本地物联网设备训练阶段:基于雾服务器下发的初始化的学习模型,各物联网设备利用自身传感器收集的数据训练局部模型;
6、步骤3,物联网设备上传模型阶段:物联网设备训练完成局部模型后,将训练好的局部模型发送到邻近的雾服务器中;
7、步骤4,雾服务器模型聚合上链阶段:雾服务器将各物联网设备上传的局部模型进行聚合后,再由对应的主服务器二次聚合生成域内全局模型并上传域内区块链中;域内的雾服务器通过pbft共识协议产生新区块分发到域内所有雾服务器得到域内全局模型;
8、步骤5,判断当前每台雾服务器是否均作为主服务器聚合生成一次域内全局模型;如果是,执行步骤6;否则,执行步骤1;
9、步骤6,代理雾服务器迁移学习阶段:代理雾服务器接收域内模型后,进行知识迁移学习,得到域间局部模型;
10、步骤7,代理雾服务器模型聚合阶段:选择代理雾服务器中一台代理服务器作为代理主服务器,代理主服务器聚合域间局部模型生成对应域间全局模型并上传到域间区块链中;代理雾服务器通过pbft共识协议产生新区块;
11、步骤8,新域加入时,代理雾服务器利用域间全局模型进行迁移学习得到初始化模型,然后分发到域内雾服务器中,并执行步骤1。
12、进一步地,步骤1具体包括以下步骤:
13、步骤1-1,联邦学习开始前,在域内一组雾服务器中随机选择一台雾服务器作为主服务器,并在主服务器中初始化一个学习模型;
14、具体地,不同域物联网设备收集的数据在种类、大小、格式等方面存在差异,每个域初始化的模型各不相同,符合各自域内特征。
15、步骤1-2,主服务器将初始化的学习模型上传到域内区块链中,域内的雾服务器通过pbft共识协议产生新区块分发到域内所有雾服务器,域内的一组所有雾服务器得到初始化的学习模型;
16、步骤1-3,雾服务器将初始化的学习模型下发到邻近的物联网设备中。
17、进一步地,步骤4具体包括以下步骤:
18、步骤4-1,雾服务器将各物联网设备上传的局部模型进行聚合,完成后将聚合的模型发送到主服务器中进行二次聚合生成域内全局模型。
19、步骤4-2,域内全局模型被主服务器上传域内区块链中。域内的雾服务器通过pbft共识协议产生新区块,分发到域内所有雾服务器,得到域内全局模型并执行步骤1。
20、具体地,代理雾服务器是一种特殊的域内雾服务器,从域内随机选择若干个雾服务器,各个域选择的雾服务器组成一组代理雾服务器,接收域内全局模型但不维护域内区块链,而是维护域间区块链。
21、进一步地,步骤7具体包括以下步骤:
22、步骤7-1,在代理雾服务器中选择代理主服务器,代理雾服务器将本身持有的域间局部模型发送到代理主服务器;
23、步骤7-2,代理主服务器聚合域间局部模型,生成域间全局模型,上传到域间区块链中。代理雾服务器通过pbft共识协议产生新区块。
24、本专利技术采用以上技术方案,利用横向联邦学习处理不同物联网设备中的数据,做到保证数据安全、降低数据传输压力以及提高模型可用性;利用迁移学习将不同域中训练的模型进行迁移学习,得到符合不同域基本特征的域间模型。在新的域加入时,直接使用迁移学习后的域间模型训练降低训练成本、提高模型可用性。解决不同域数据无法互通的问题,让数据发挥更大的作用。
本文档来自技高网...【技术保护点】
1.一种基于双层区块链的物联网设备的联邦学习方法,其特征在于:参与设备包括:域间区块链、域内区块链以及各种物联网设备,每个域中具有一组雾服务器,从域内随机选择若干个雾服务器,各个域选择的雾服务器组成一组代理雾服务器,一组雾服务器用于聚合模型、生成新区块、维护域内区块链以及下发模型;一组代理雾服务器由不同域中随机选择若干个域内雾服务器组成用于进行双向迁移学习、维护域间区块链;方法包括以下步骤:
2.根据权利要求1所述的一种基于双层区块链的物联网设备的联邦学习方法,其特征在于:步骤1具体包括以下步骤:
3.根据权利要求2所述的一种基于双层区块链的物联网设备的联邦学习方法,其特征在于:不同域物联网设备收集的数据在种类、大小、格式方面存在差异,每个域初始化的学习模型各不相同且符合各自域内特征。
4.根据权利要求1所述的一种基于双层区块链的物联网设备的联邦学习方法,其特征在于:步骤4具体包括以下步骤:
5.根据权利要求1所述的一种基于双层区块链的物联网设备的联邦学习方法,其特征在于:步骤7具体包括以下步骤:
【技术特征摘要】
1.一种基于双层区块链的物联网设备的联邦学习方法,其特征在于:参与设备包括:域间区块链、域内区块链以及各种物联网设备,每个域中具有一组雾服务器,从域内随机选择若干个雾服务器,各个域选择的雾服务器组成一组代理雾服务器,一组雾服务器用于聚合模型、生成新区块、维护域内区块链以及下发模型;一组代理雾服务器由不同域中随机选择若干个域内雾服务器组成用于进行双向迁移学习、维护域间区块链;方法包括以下步骤:
2.根据权利要求1所述的一种基于双层区块链的物联网设备的联邦学习方法,其...
【专利技术属性】
技术研发人员:林昌露,伍燕文,黄可可,柯品惠,李世唐,
申请(专利权)人:福建师范大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。