模型训练方法及相关设备技术

本公开提供了一种模型训练方法、装置、设备及存储介质，涉及信息技术领域。该方法包括：接收联邦学习任务，联邦学习任务包括待训练的初始模型参数及任务发布方质押的积分数量；在区块链主链上，根据联邦学习任务匹配得到多个第一终端；基于近域通信范围，将多个第一终端划分进不同的通信小区，同一个通信小区内的第一终端属于同一个区域子链；在每个通信小区，训练初始模型对应的小区模型；基于训练后的每个小区模型，更新初始模型，得到训练后的全局模型。模型。模型。

【技术实现步骤摘要】
模型训练方法及相关设备


[0001]本公开涉及信息
，尤其涉及一种模型训练方法及相关设备。

技术介绍

[0002]联邦学习提供了一种有效的解决隐私问题的方法。应用联邦学习训练模型，只需要交换本地模型的权重或梯度，本地训练数据仅保存在用户本地存储中，能够很好地保护终端和个人隐私。但是，在一些场景中联邦学习存在模型训练效率较低的问题。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本公开提供一种模型训练方法、装置、设备及存储介质，至少在一定程度上解决相关技术中联邦学习存在模型训练效率较低的问题。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本公开的一个方面，提供一种模型训练方法，方法包括：
[0007]接收联邦学习任务，联邦学习任务包括待训练的初始模型参数及任务发布方质押的积分数量；
[0008]在区块链主链上，根据联邦学习任务匹配得到多个第一终端；
[0009]基于近域通信范围，将多个第一终端划分进不同的通信小区，同一个通信小区内的第一终端属于同一个区域子链；
[0010]在每个通信小区，训练初始模型对应的小区模型；
[0011]基于训练后的每个小区模型，更新初始模型，得到训练后的全局模型。
[0012]在本公开的一个实施例中，在每个通信小区，训练初始模型对应的小区模型，包括：
[0013]在每个通信小区，第一终端执行如下步骤：
[0014]基于第一终端的本地数据训练小区模型，得到训练后的小区模型参数；
[0015]将小区模型参数，发送至通信小区的多个第一终端中的领导节点。
[0016]在本公开的一个实施例中，在基于第一终端的本地数据训练小区模型的过程中，第一终端通过近域通信向其它第一终端传输中间训练结果，以及通过链上智能合约，向提供近域通信服务的第一终端支付积分。
[0017]在本公开的一个实施例中，通信小区的第一终端对应区域子链中的终端节点；在每个通信小区，训练初始模型对应的小区模型之前，方法还包括：
[0018]在区域子链的多个终端节点中，选举得到领导节点；领导节点加入区块链主链，用于从距离最近的主链节点获取待训练的初始模型参数，并广播给区域子链的多个第一终端。
[0019]在本公开的一个实施例中，在区域子链的多个终端节点中，选举得到领导节点，包括：
[0020]根据终端节点对应的第一终端的近域缓存能力和计算能力，选举得到领导节点。
[0021]在本公开的一个实施例中，将小区模型参数，发送至通信小区的多个第一终端中的领导节点之后，方法还包括：
[0022]领导节点基于小区模型参数，验证并更新小区模型；
[0023]领导节点将更新后的小区模型，发送至区块链主链。
[0024]在本公开的一个实施例中，方法还包括：
[0025]通过PBFT共识机制，在多个领导节点中选择得到主链层主节点；主链层主节点用于基于更新后的小区模型，验证并更新全局模型。
[0026]在本公开的一个实施例中，基于近域通信范围，将多个第一终端划分进不同的通信小区之前，方法还包括：
[0027]在多个第一终端中，确定多个目标终端，目标终端为多个第一终端中确认参与联邦学习任务的终端；
[0028]基于近域通信范围，将多个第一终端划分进不同的通信小区，包括：
[0029]基于近域通信范围，将多个目标终端划分进不同的通信小区。
[0030]在本公开的一个实施例中，在区块链主链上，根据联邦学习任务匹配得到多个第一终端，包括：
[0031]在区块链主链上，根据待训练的初始模型参数及任务发布方质押的积分数量，匹配得到多个第一终端。
[0032]在本公开的一个实施例中，接收联邦学习任务之前，方法还包括：
[0033]在基站边缘设置运营服务节点，运营服务节点用于为同一个基站覆盖范围内的终端注册上链。
[0034]根据本公开的另一个方面，提供一种模型训练装置，装置包括：
[0035]任务接收模块，用于接收联邦学习任务，联邦学习任务包括待训练的初始模型参数及任务发布方质押的积分数量；
[0036]终端匹配模块，用于在区块链主链上，根据联邦学习任务匹配得到多个第一终端；
[0037]小区划分模块，用于基于近域通信范围，将多个第一终端划分进不同的通信小区，同一个通信小区内的第一终端属于同一个区域子链；
[0038]小区训练模块，用于在每个通信小区，训练初始模型对应的小区模型；
[0039]全局更新模块，用于基于训练后的每个小区模型，更新初始模型，得到训练后的全局模型。
[0040]根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的模型训练方法。
[0041]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型训练方法。
[0042]本公开的实施例所提供的模型训练方法，接收联邦学习任务后，在区块链主链上，根据联邦学习任务匹配得到多个第一终端，然后，基于近域通信范围，将多个第一终端划分
进不同的通信小区。这里，同一个通信小区内的第一终端属于同一个区域子链。最后，在每个通信小区，训练初始模型对应的小区模型，并基于训练后的每个小区模型，更新初始模型，得到训练后的全局模型。如此，通过区块链架构，在保障用户数据隐私的同时，可有效抵抗恶意节点攻击导致的学习性能下降，进而提升联邦学习训练模型的效率。
[0043]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0044]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1本公开实施例中一种模型训练方法流程示意图；
[0046]图2本公开实施例中模型训练的整体结构示意图；
[0047]图3本公开实施例中另一种模型训练方法流程示意图；
[0048]图4本公开实施例中基于区块链的近域缓存方案示意图；
[0049]图5本公开实施例中基于多级区块链的联邦学习框架示意图；
[0050]图6本公开实施例中一种模型训练装置示意图；和
[0051]图7本公开实施例中一种计算机设备的结构框图。
具体实施方式
[0052]现在将参考附图更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：接收联邦学习任务，所述联邦学习任务包括待训练的初始模型参数及任务发布方质押的积分数量；在区块链主链上，根据所述联邦学习任务匹配得到多个第一终端；基于近域通信范围，将所述多个第一终端划分进不同的通信小区，同一个所述通信小区内的第一终端属于同一个区域子链；在每个通信小区，训练所述初始模型对应的小区模型；基于训练后的每个所述小区模型，更新所述初始模型，得到训练后的全局模型。2.根据权利要求1所述的方法，其特征在于，所述在每个通信小区，训练所述初始模型对应的小区模型，包括：在每个通信小区，第一终端执行如下步骤：基于第一终端的本地数据训练小区模型，得到训练后的小区模型参数；将所述小区模型参数，发送至所述通信小区的多个第一终端中的领导节点。3.根据权利要求2所述的方法，其特征在于，在基于第一终端的本地数据训练小区模型的过程中，第一终端通过近域通信向其它第一终端传输中间训练结果，以及通过链上智能合约，向提供近域通信服务的第一终端支付积分。4.根据权利要求2所述的方法，其特征在于，通信小区的第一终端对应区域子链中的终端节点；所述在每个通信小区，训练所述初始模型对应的小区模型之前，所述方法还包括：在区域子链的多个终端节点中，选举得到领导节点；所述领导节点加入所述区块链主链，用于从距离最近的主链节点获取待训练的初始模型参数，并广播给区域子链的多个第一终端。5.根据权利要求4所述的方法，其特征在于，所述在区域子链的多个终端节点中，选举得到领导节点，包括：根据终端节点对应的第一终端的近域缓存能力和计算能力，选举得到领导节点。6.根据权利要求2所述的方法，其特征在于，所述将所述小区模型参数，发送至所述通信小区的多个第一终端中的领导节点之后，所述方法还包括：领导节点基于所述小区模型参数，验证并更新小区模型；领导节点将更新后的小区模型，发送至区块链主链。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：通过PBFT共识机制，在多个领导节点中选择得到主链层主节点...

【专利技术属性】
技术研发人员：刘小欧，陈晓益，梁伟，杨明川，李静雯，张政，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：