模型训练方法及其节点、网络及存储装置制造方法及图纸

本申请公开了一种模型训练方法及其节点、网络及存储装置。其中，所述方法应用于包含至少一组节点的去中心化网络中，其中，每组节点包括至少一个节点，至少部分所述节点用于训练得到所述模型的模型参数；所述方法包括：当前节点在本组内采用预设去中心化训练策略得到对所述模型的组内参数；利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数。通过上述方式，能够实现基于去中心化网络对模型的训练。

Model Training Method and Nodes, Networks and Storage Devices

This application discloses a model training method and a node, network and storage device. The method is applied to a de-centralized network containing at least one group of nodes, in which each group of nodes includes at least one node, and at least part of the nodes are used for training to obtain model parameters of the model. The method includes: the current node uses a preset de-centralized training strategy within the group to obtain the group parameters of the model; and using the group parameters and parameters of the model. The weight of the neighbor nodes outside the group of the current node relative to the current node is obtained, and the model parameters of the model are obtained. Through the above way, the model training based on decentralized network can be realized.

【技术实现步骤摘要】
【国外来华专利技术】模型训练方法及其节点、网络及存储装置
本申请涉及区块链
，特别是涉及一种模型训练方法及其节点、网络及存储装置。
技术介绍
目前，通常需要采用各种数据模型来实现信息的处理，例如采用识别模型进行图像识别等。如今，去中心化网络由于具有高可靠性，已经日渐广泛应用于各领域。去中心化网络，即包含多个节点，且该网络中不存在中心节点。在进行上述信息处理时，可采用去中心网络中的各节点协同实现利用模型进行信息处理。也即，各节点利用其相应模型对输入信息进行处理，以输出结果。在进行上述利用模型进行信息处理之前，需要先训练得到相关模型。对于去中心化网络，由于其不具有中心节点，即无法实现基于中心节点或参数节点对模型进行训练。
技术实现思路
本申请主要解决的技术问题是提供一种模型训练方法及其节点、网络及存储装置，实现基于去中心化网络对模型的训练。为解决上述技术问题，本申请第一方面提供一种模型训练方法，所述方法应用于包含至少一组节点的去中心化网络中，其中，每组节点包括至少一个节点，至少部分所述节点用于训练得到所述模型的模型参数；所述方法包括：当前节点在本组内采用预设去中心化训练策略得到对所述模型的组内参数；利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数。为了解决上述技术问题，本申请第二方面提供一种去中心化网络的节点，包括处理器及与所述处理器耦接的存储器和通信电路，其中，所述通信电路用于与所述去中心化网络的其他节点通信；所述存储器，用于存储程序指令；所述处理器，用于运行所述程序指令以执行上述方法。为了解决上述技术问题，本申请第三方面提供一种去中心化网络，所述去中心化网络包括至少一组节点，每组节点包括至少一个上述的节点。为了解决上述技术问题，本申请第四方面提供一种存储装置，所述存储装置存储有程序指令，当所述程序指令在处理器上运行时，执行上述第一方面所述的方法。上述方案，采用在组内采用预设去中心化训练策略得到对模型的组内参数，再利用组外邻居节点的权重对该组内参数进行加权，以实现在去中心化网络中利用其普通节点即可得到该模型的模型参数，无需中心节点。附图说明图1是本申请去中心化网络一实施例的结构示意图；图2是本申请模型训练方法一实施例的流程示意图；图3A是本申请模型训练方法另一实施例中步骤S220的流程示意图；图3B是本申请模型训练方法又一实施例中步骤S220的流程示意图；图4是本申请模型训练方法再一实施例的流程示意图；图5是本申请去中心化网络的节点一实施例的结构示意图；图6是本申请存储装置一实施例的结构示意图。具体实施方式为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中的“多”表示的是至少为2。请参阅图1，图1是本申请去中心化网络一实施例的结构示意图。本实施例中，该去中心化网络10包括多个节点11，其中，该多个节点11划分为至少一组节点，每组节点包括至少一个节点11。如图1所示，在该去中心化网络集群10中，多个节点11被划分为3组，每组包括3个节点11。具体而言，该节点11可以为手机、平板电脑、电脑、或者服务器等通信设备。该去中心化网络10不存在中心节点，节点11之间可直接进行相互通信，而不需要所有节点11均通过中心节点方可实现通信。例如，组内节点11均可进行彼此通信，且每个节点11可与其他每个组的至少一个节点11通信，其中，其他组中与该节点11通信的至少一个节点11称为该节点11的组外通信节点。本实施例中，除组外通信节点以外，节点11与其他组中的其他节点11均不可进行直接通信。本实施例中，去中心化网络10可用于创建模型以及利用创建的模型进行数据处理。具体地，去中心化网络10的每个节点11可用于在进行上述信息处理时，可采用去中心网络中的各节点协同实现利用模型进行信息处理。也即，各节点利用其相应模型对输入信息进行处理，以输出结果。在一应用场景中，各节点可负责该模型的不同部分，例如该模型为神经网络模型，该神经网络模型的不同网络层被分配到不同的节点，以由不同节点及负责不同的模型处理部分，即实现模型并行化；在另一引用场景中，各节点均负责该模型的所有部分，例如，不同节点设有同一个模型的多个副本，每个节点分配到数据的一部分，然后将所有节点的计算结果按照某种方式合并。在上述利用模型进行信息处理之前，该去中心化网络10可先进行模型训练，以得到该模型的模型参数，进而利用该模型参数对应的模型实现如上所示的信息处理。本实施例中，该去中心化网络10中每个节点均用于训练得到所述模型的模型参数。例如，去中心化网络10的每组节点11先训练得到该模型的组内参数，进而利用不同组的邻居节点的权重及该组内参数得到该模型的模型参数。进一步地，为得到准确的模型参数，可对该模型参数进行多次如上所示的迭代处理。为更好理解，下面举例列出本申请去中心网络对模型参数的一种训练原理。本例中，利用上述分组的去中心化网络实现优化目标函数的机器学习算法，进而实现对模型参数的训练，其中可基于梯度下降方式来优化目标函数。具体地，该去中心化网络的模型参数训练方式，相当于求解下面目标函数J：其中，Jk(x)为第k个节点11的子目标函数，N为去中心网络的节点数量，表示将J定义为本例中，该去中心化网络的参数训练方法是要通过让去中心化网络10中的所有节点基于局部数据各自优化子目标数据，然后通过与去中心化网络中其他节点交换迭代参数，通过一定次数的迭代可使得去中心化网络10中所有节点的解都收敛于目标函数的一个近似解，如无偏最优解，进而得到模型的模型参数。基于上述训练原理或者其他类似的训练原理，该去中心化网络可实现对其模型的训练。具体地，该去中心化网络可采用下述训练方法来训练其模型，进而得到模型参数。请参阅图2，图2是本申请模型训练方法一实施例的流程示意图。本实施例中，该方法应用于如上面所述的去中心化网络中，利用去中心化网络的每个节点训练得到该模型的模型参数。具体地，该方法包括以下步骤：S210：当前节点在本组内采用预设去中心化训练策略得到对所述模型的组内参数。该当前节点即为上述去中心化网络中的任意节点。本实施例中，可采用迭代方式训练得到模型的模型参数。具体地，当前节点可利用自身前次迭代得到的模型参数，在本组内采用预设去中心化训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数，进而再步骤S220中利用本地迭代的组内参数得到本地迭代的模型参数。由此，利用本训练方法对该模型参数进行不断迭代更新，在迭代到一定次数之后，该模型参数收敛，可取收敛的模型参数作为最终训练得到的模型参数。具体地，该预设去中心化训练策略包括但不限于以下策略：基于gossip的训练策略、增量训练策略、共识训练策略或扩散训练策略。该扩散训练策略可具体为(AMultitaskDiffusionStrategywithOptimizedInter-Clust本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，所述方法应用于包含至少一组节点的去中心化网络中，其中，每组节点包括至少一个节点，至少部分所述节点用于训练得到所述模型的模型参数；所述方法包括：当前节点在本组内采用预设去中心化训练策略得到对所述模型的组内参数；利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数。

【技术特征摘要】
【国外来华专利技术】1.一种模型训练方法，其特征在于，所述方法应用于包含至少一组节点的去中心化网络中，其中，每组节点包括至少一个节点，至少部分所述节点用于训练得到所述模型的模型参数；所述方法包括：当前节点在本组内采用预设去中心化训练策略得到对所述模型的组内参数；利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数。2.根据权利要求1所述的方法，其特征在于，所述在本组内采用预设去中心化训练策略得到对所述模型的组内参数，包括：利用自身前次迭代得到的模型参数，在本组内采用预设去中心化训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数；所述利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数，包括：利用所述当前节点在本次迭代对所述模型的组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到在本次迭代对所述模型的模型参数。3.根据权利要求2所述的方法，其特征在于，所述预设去中心化训练策略包括基于gossip的训练策略、增量训练策略、共识训练策略或扩散训练策略。4.根据权利要求3所述的方法，其特征在于，所述利用前次迭代得到的模型参数，在本组内采用扩散训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数，包括：利用自身前次迭代得到的模型参数以及本次迭代的参考参数得到所述当前节点在本次迭代的初始参数；根据所述当前节点在本次迭代的初始参数与本组其他节点在本次迭代的初始参数，得到所述当前节点在本次迭代对所述模型的组内参数。5.根据权利要求4所述的方法，其特征在于，所述利用自身前次迭代得到的模型参数以及本次迭代的参考参数得到所述当前节点在本次迭代的初始参数，包括：利用所述下列公式得到所述当前节点在本次迭代的初始参数Ψk，t；Ψk，t＝wk，t-1+ukrk，t(dk，t-rk，twk，t-1)其中，本次为第t次迭代，前次为第t-1迭代，所述k为当前节点的序号，所述wk，t-1为所述当前节点在前次迭代得到的模型参数，所述uk，rk，t，dk，t为本次迭代的参考参数，其中所述uk表示权重因子；所述rk，t表示随机因子；所述dk，t＝rk，t·ρ+vk，t，所述ρ为超参数，所述vk，t为随机参数。6.根据权利要求4所述的方法，其特征在于，所述根据所述当前节点在本次迭代的初始参数与本组其他节点在本次迭代的初始参数，得到所述当前节点在本次迭代对所述模型的组内参数，包括：利用下列公式得到所述当前节点在本次迭代的组内参数Φk，t；其中，本次为第t次迭代，所述k为当前节点的序号，所述Gk表示本组内节点的序号，所述gl为本组内节点1相对于所述当前节点的权重，所述Ψl，t为本组内节点1在本次迭代的初始参数。7.根据权利要求3所述的方法，其特征在于，所述利用前次迭代得到的模型参数，在本组内采用共识训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数，包括：利用自身前次迭代得到的模型参数以及本组其他节点相对于当前节点的权重得到所述当前节点在本地迭代的初始参数；根据所述当前节点在本次迭代的初始参数与本组迭代的参考参数，得到所述当前节点在本次迭代对所述模型的组内参数。8.根据权利要求7所述的方法，其特征在于，所述利用自身前次迭代得到的模型参数以及本组其他节点相对于当前节点的权重得到所述当前节点在本地迭代的初始参数，包括：利用所述下列公式得...

【专利技术属性】
技术研发人员：袁振南，朱鹏新，
申请(专利权)人：袁振南，区链通网络有限公司，
类型：发明
国别省市：维尔京群岛,VG