【技术实现步骤摘要】
基于状态通道的去中心训练方法、装置、存储介质及设备
[0001]本专利技术涉及计算机
,具体而言涉及一种基于状态通道的去中心训练方法、装置、存储介质及设备。
技术介绍
[0002]当前的机器学习训练大多采用中心化或分布式的计算方法,例如集中式训练、分布式机器训练以及联邦训练。其中,区块链是一种去中心化的信任机器,被许多人用于实现去中心化训练,即通过区块链的共识机制随机选举出一个节点来完成聚合全部的参数。但是,仅利用单个节点来完成全部参数的聚合,在数据量很大时,会出现单个节点加载不下大量的参数而导致无法进行训练的问题。
技术实现思路
[0003]有鉴于此,本专利技术实施例提供了一种基于状态通道的去中心训练方法、装置、存储介质及设备,以解决仅利用单个节点来完成全部参数的聚合,在数据量很大时,会出现单个节点加载不下大量的参数而导致无法进行训练的问题。
[0004]第一方面,本专利技术实施例提供了一种基于状态通道的去中心训练方法,包括:
[0005]任务分发节点获取区块链上的计算合约,所述计算合 ...
【技术保护点】
【技术特征摘要】
1.一种基于状态通道的去中心训练方法,其特征在于,包括:任务分发节点获取区块链上的计算合约,所述计算合约包括计算任务分发策略、状态通道开启策略、状态通道关闭策略及任务回调策略;所述任务分发节点基于所述计算任务分发策略,向各执行任务节点发送训练任务请求,所述计算任务分发策略包括训练模型或相应的链接、全局聚合迭代轮次、本地迭代轮次及目标执行任务节点的数量,所述目标执行任务节点为接受所述计算任务请求的执行任务节点;在满足状态通道开启条件的情况下,基于所述状态通道开启策略,开启所述任务分发节点与各目标执行任务节点之间的状态通道;所述任务分发节点通过所述状态通道将所述训练模型或相应的链接及本地迭代轮次发送给各目标执行任务节点,以使各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次进行训练,并将各目标执行任务节点的训练结果进行全局迭代训练,得到训练模型聚合结果;基于所述计算合约的状态通道关闭策略,关闭所述任务分发节点与各目标执行任务节点之间的状态通道;所述任务分发节点将所述模型聚合结果写入所述任务回调策略。2.根据权利要求1所述的方法,其特征在于,所述在满足状态通道开启条件的情况下,基于所述状态通道开启策略,开启所述任务分发节点与各目标执行任务节点之间的状态通道,包括:所述任务分发节点获取所述目标执行任务节点的数量;判断所述目标执行任务节点的数量是否大于或等于预设节点数量,如果所述目标执行任务节点的数量大于或等于预设节点数量,则基于所述状态通道开启策略,开启所述任务分发节点与各目标执行任务节点之间的状态通道。3.根据权利要求1所述的方法,其特征在于,所述任务分发节点将所述计算合约中的训练模型或相应的链接及本地迭代轮次通过所述状态通道发送给各目标执行任务节点,以使各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次进行训练,并将各目标执行任务节点的训练结果进行全局迭代训练,得到训练模型聚合结果,包括:所述任务分发节点将所述计算合约中的训练模型或相应的链接及本地迭代轮次通过所述状态通道发送给各目标执行任务节点;各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次,利用本地样本数据进行本地迭代训练,并将训练结果通过所述状态通道发送给所述任务分发节点;所述任务分发节点对接收的训练结果进行全局聚合,得到全局聚合结果;所述任务分发节点基于所述全局聚合结果进行所述全局聚合迭代轮次的迭代训练,得到训练模型聚合结果。4.根据权利要求3所述的方法,其特征在于,在所述计算任务分发策略包括所述训练模型的链接地址的情况下,所述各目标执行任务节点基于所述训练模型或相应的链接及本地迭代轮次,利用本地样本数据进行本地迭代训练,并将训练结果通过所述状态通道发送给所述任务分发节点,包括:各目标执行任务节点接收所述训练模型的连接地址;
各目标执行任务节点基于所述链接地址,获得到存储在其他存储空间的存储在其他存储空间的训练模型;各目标执行任务节点利用本地数据对所述训练模型进行所述本地迭代轮次的迭代训练,得到训练结果;各目标执行任务节点将...
【专利技术属性】
技术研发人员:胡卓杰,张亚京,谢利江,
申请(专利权)人:海南火链科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。