基于多实体机环境的无中心随机梯度下降方法技术

本发明专利技术公开了一种基于多实体机环境的无中心随机梯度下降方法，所述的方法包括步骤如下：S1：根据收集到需要参与的多实体机信息确定网络结构；S2：在确定网络结构之后，根据网络中各个节点与邻居节点建立通信网络，实现构建网络拓扑；S3：构建完成网络拓扑后，需要迭代的节点开始运行随机梯度下降算法进行迭代优化。本发明专利技术打破了无中心分布式算法实现的高硬件性能限制。可以实现多个普通的实体机的跨网合作，共同完成较大规模的机器学习任务。共同完成较大规模的机器学习任务。共同完成较大规模的机器学习任务。

Centreless random gradient descent method based on multi entity machine environment

【技术实现步骤摘要】
基于多实体机环境的无中心随机梯度下降方法


[0001]本专利技术涉及分布式随机优化
，更具体的，涉及一种基于多实体机环境的无中心随机梯度下降方法。

技术介绍

[0002]随着大数据时代的到来和深度神经网络的发展，单机已经无法承载巨量数据计算，分布式优化算法成为了解决深度神经网络训练数据量大、耗时长的最优方法。将大量数据分布在多个节点上并行计算后再进行聚合，可以大幅缩短计算所需要的时间，也可以降低对节点硬件性能的要求。
[0003]分布式随机优化算法最早使用有中心的网络结构，如图1，数据分布在各子节点上，由中心节点进行聚合。有中心的分布式随机优化算法结构简单，易于实现。因为中心节点存在，对各子节点的调控和监督也非常的方便。但因为所有子节点都需要向中心节点发送计算数据，随着节点数目的增加，中心节点的通信和计算能力就会成为限制网络拓展的瓶颈。而中心节点一旦被攻击，整个网络就会陷入瘫痪，无法正常运行。除此之外，因为中心节点可以接触到全部数据，所以很难满足越来越严格的数据安全性和隐私性要求。
[0004]为了克服中心节点所带来的一系列问题，无中心的网络架构开始逐渐取代有中心的网络。无中心网络不存在中心节点，且每个节点只会和自己的邻居进行通信，这使得其可以很好的克服中心瓶颈和数据安全问题。且现在也已经有理论证明，针对同一算法，有中心和无中心的网络均具有相同的收敛速度和精度。但现有的无中心算法实现均基于单机多进程的方式或多GPU集群实现。这些实现对硬件成本的要求很高，需要数据集中于一个节点或一个集群，并不能实际应用在生活中解决多方合作的问题。

技术实现思路

[0005]本专利技术为了解决克服以上现有无中心分布式优化算法对硬件环境要求高，无法应用于多机构合作等日常场景的缺陷，提供了一种基于多实体机环境的无中心随机梯度下降方法，其能实现多端跨网协作。
[0006]为实现上述本专利技术目的，采用的技术方案如下：
[0007]一种基于多实体机环境的无中心随机梯度下降方法，所述的方法包括步骤如下：
[0008]S1：根据收集到需要参与的多实体机信息确定网络结构；
[0009]S2：在确定网络结构之后，根据网络中各个节点与邻居节点建立通信网络，实现构建网络拓扑；
[0010]S3：构建完成网络拓扑后，需要迭代的节点开始运行随机梯度下降算法进行迭代优化。
[0011]优选地，所述的多实体机信息包括不同多实体机之间的信任程度、地理位置和通信条件。
[0012]进一步地，在确定网络结构时，优先连接信任程度高的节点作为邻居节点；优先连
接距离近的节点作为邻居节点；优先连接通信条件好的节点作为邻居节点。
[0013]优选地，步骤S2，确定好网络结构之后，将邻居节点信息分发给各节点，节点收到自己的邻居节点信息后，使用通信传输协议与自己的邻居节点建立通信，并在所有邻居节点均成功建立通信后反馈成功信息，完成网络拓扑的构建。
[0014]进一步地，步骤S2，具体包括以下步骤：
[0015]S201：负责监管的伪master节点将确定好的网络拓扑信息进行整理，之后将各节点的邻居节点信息进行分发；
[0016]S202：各节点拿到自己邻居节点的IP信息后，向自己所有的邻居节点发送query请求，并进入等待状态；等待状态的节点有两个操作：一是在接收到query请求时进行响应，二是记录收到的所有query响应；
[0017]S203：各节点在收到所有邻居节点的query响应后，再次发送一个confirm请求给自己的邻居节点，并进入等待状态；同样节点是在接收到confirm请求时进行响应以及记录自己收到的所有confirm响应；
[0018]S204：节点收集到所有confirm响应后提交complete信息给伪master节点，伪master节点在收集到所有complete信息后，会向各节点发送start指令，表示构建网络拓扑完成，进入下一步骤。
[0019]再进一步地，进行迭代时的节点存在两种状态：一种是计算状态，一种是通信状态；
[0020]计算状态的节点，先从本地的数据集中抽取样本并计算梯度，然后聚合其他节点发送的信息，进行梯度更新后进入通信状态；
[0021]通信状态的节点，将自己更新的变量通过通信协议发送给邻居节点，并等待收集邻居节点发送的变量信息，收集完成后进入下一轮迭代。
[0022]再进一步地，处于计算状态的节点不进行任何通信和响应操作，只有节点计算完成后进入通信状态，才会接受和发送信息。
[0023]再进一步地，步骤S3，随机梯度下降算法具体包括以下步骤：
[0024]S301：参数初始化，设置更新步长λ、样本数量batch_size、训练最大轮次max_epoch、混合矩阵W、节点的等待时间t、最大出错次数max_error以及随机初始化变量x；
[0025]S302：从本地数据集中抽取batch_size个训练样本，并利用抽取的样本计算随机梯度
[0026]S303：利用混合矩阵W对所有邻居节点发送的变量，和自己的变量进行加权聚合；
[0027][0028]S304：利用本地的计算得到的随机梯度和聚合后得到新变量进行梯度下降，得到本次迭代的计算结果，结束计算状态；
[0029][0030]S305：节点进入通信状态，向邻居发送本次计算的结果，并收集邻居发送的计算结果，在等待一段时间t后，结束通信状态。
[0031]一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现基于多实体机环境的无中心随机梯度下降方法的步骤。
[0032]一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现基于多实体机环境的无中心随机梯度下降方法的步骤。
[0033]本专利技术的有益效果如下：
[0034]本专利技术打破了无中心分布式算法实现的高硬件性能限制。可以实现多个普通的实体机的跨网合作，共同完成较大规模的机器学习任务。
[0035]本专利技术降低了算法实现对硬件性能的要求。以CIFAR10数据集上的图像分类问题为例，现有的无中心分布式优化算法实现中，如果用略微复杂的神经网络结构，单机多进程的实现方式没有办法运行起来，因为多进程并行时，即使单机的性能很高，能分给每个进程的资源其实都非常有限。而多GPU集群需要巨额的设备费用，也不是一般的公司或个人可以承担的。而本专利技术所述的无中心随机梯度下降方法，不管是手提电脑还是台式主机，只要可以正常的运行就可以协作完成优化任务。
[0036]本专利技术可以跨网通信，应用性更好。现有的无中心分布式优化算法实现因为无法进行跨网通信，都需要将数据集中于一个点或一个集群中。而随着对数据隐私性和安全性要求的提高，数据基本都分散在不同网络环境下的节点上，无法使用现有的实现方法。而本专利技术所述的无中心随机梯度下降方法实现可以完成各实体机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多实体机环境的无中心随机梯度下降方法，其特征在于：所述的方法包括步骤如下：S1：根据收集到需要参与的多实体机信息确定网络结构；S2：在确定网络结构之后，根据网络中各个节点与邻居节点建立通信网络，实现构建网络拓扑；S3：构建完成网络拓扑后，需要迭代的节点开始运行随机梯度下降算法进行迭代优化。2.根据权利要求1所述的基于多实体机环境的无中心随机梯度下降方法，其特征在于：所述的多实体机信息包括不同多实体机之间的信任程度、地理位置和通信条件。3.根据权利要求2所述的基于多实体机环境的无中心随机梯度下降方法，其特征在于：在确定网络结构时，优先连接信任程度高的节点作为邻居节点；优先连接距离近的节点作为邻居节点；优先连接通信条件好的节点作为邻居节点。4.根据权利要求1所述的基于多实体机环境的无中心随机梯度下降方法，其特征在于：步骤S2，确定好网络结构之后，将邻居节点信息分发给各节点，节点收到自己的邻居节点信息后，使用通信传输协议与自己的邻居节点建立通信，并在所有邻居节点均成功建立通信后反馈成功信息，完成网络拓扑的构建。5.根据权利要求4所述的基于多实体机环境的无中心随机梯度下降方法，其特征在于：步骤S2，具体包括以下步骤：S201：负责监管的伪master节点将确定好的网络拓扑信息进行整理，之后将各节点的邻居节点信息进行分发；S202：各节点拿到自己邻居节点的IP信息后，向自己所有的邻居节点发送query请求，并进入等待状态；等待状态的节点有两个操作：一是在接收到query请求时进行响应，二是记录收到的所有query响应；S203：各节点在收到所有邻居节点的query响应后，再次发送一个confirm请求给自己的邻居节点，并进入等待状态；同样节点是在接收到confirm请求时进行响应以及记录自己收到的所有confirm响应；S204：节点收集到所有confirm响应后提交complete信息给伪master节点，伪master节点在收集到所有c...

【专利技术属性】
技术研发人员：凌青，朱多煜，
申请(专利权)人：中山大学，
类型：发明
国别省市：