一种优化网络延迟的分布式ADMM机器学习方法技术

本发明专利技术请求保护一种优化网络延迟的分布式ADMM机器学习方法。一个凸优化问题可以分解成许多子凸优化问题，每个子凸优化问题可以通过ADMM算法在对应的子节点解决。针对基于桥节点和工作节点的分布式ADMM算法的整体运行速度受限于网络连接延迟的影响，本发明专利技术提出了一种优化网络延迟的分布式ADMM机器学习算法，即在进行ADMM迭代运算前，考虑网络延迟的影响，动态地规划桥节点的位置以及个数，在相当程度上可以克服网络延迟、动态性、拓扑形态、带宽限制、数据分布化存储等网络特性对算法性能造成的影响。

A distributed ADMM machine learning method for optimizing network latency

The invention requests to protect a distributed ADMM machine learning method for optimizing network delay. A convex optimization problem can be decomposed into many sub convex optimization problems. Each sub convex optimization problem can be solved by ADMM algorithm in the corresponding sub nodes. In view of the fact that the overall running speed of the distributed ADMM algorithm based on the bridge node and the working node is limited by the influence of the network connection delay, the invention proposes a distributed ADMM machine learning algorithm for optimizing the network delay, that is, before the ADMM iterative operation, considering the impact of the network delay, dynamically planning the location and number of the bridge nodes, which can overcome the network delay to a considerable extent The influence of network characteristics such as delay, dynamic, topology, bandwidth limitation and data distributed storage on the performance of the algorithm.

【技术实现步骤摘要】
一种优化网络延迟的分布式ADMM机器学习方法
本专利技术属于一种优化网络延迟的分布式ADMM机器学习方法，涉及到凸优化问题的分布式求解。
技术介绍
分布式优化问题可以应用于各种网络，如无线传感器网络，电网，数据中心机器集群和机器主板上的芯片。在这样的网络中，在实现全局优化目标的同时，分布式优化有助于节省通信带宽和能量，这是网络中的稀缺资源。在基于数据的应用程序的特殊情况下，由于来自互联网的大规模数据的可用性，一台机器无法存储所有数据，并且数据分布在多台机器上。由于传输如此大量的数据会产生很高的通信成本，甚至可能不可行。因此建议使用分布式优化算法在本地机器上执行优化。更具体地说，我们将专注于解决优化问题，其中目标函数由具有其的可分离凸函数的和，每个凸函数都有其对应的一组约束。解决此类问题的一类方法是子梯度方法，其中节点使用其目标函数的子梯度和来自其相邻节点的最新迭代来计算其迭代。对于这些方法的收敛率为其中k为迭代次数。另一类方法涉及交替解决原始和对偶问题。最常见的是交替方向乘子法(ADMM)。其收敛速度为与子梯度方法相比，ADMM算法与迭代次数的收敛速度更快。ADMM和子梯度方法之间的一个区别是使用求解原始和前者交替出现双重问题。ADMM算法可用于各种领域，如图像处理，机器学习，大规模数据处理，广域网等应用。它特别适用于需要在不同机器上以分散方式解决优化问题的应用。在常规ADMM算法中，存在一个主节点，主节点与工作节点进行通信，但工作节点节点不相互通信。在这种情况下，一个节点的失败或它的回复延迟都会降低整个算法的速度。为了缓解这个问题，算法以并行和分布式方式执行计算，其中网络中的一组节点充当主节点并且其相邻节点充当工作节点。这些主节点称为桥节点，桥节点与其相邻的工作节点进行通信，但工作节点仅与桥节点进行通信，这样节省了网络开销。本专利技术针对网络链路中的延迟和故障对上述分布式算法的影响，提出了一种优化网络延迟的分布式ADMM机器学习算法。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种使分布式ADMM算法更加适应网络连接延迟的影响的优化网络延迟的分布式ADMM机器学习方法。本专利技术的技术方案如下：一种优化网络延迟的分布式ADMM机器学习方法，其针对ad-hoc网络将凸优化问题分解成子凸优化问题进行求解，为得到凸优化问题的全局最优解，机器学习方法包括以下步骤：针对网络延迟对基于桥节点和工作节点的分布式ADMM算法运行时间的影响，对网络节点进行初始化，并根据网络中节点连接延迟的情况，动态地规划桥节点的位置和个数。进一步的，在ad-hoc网络中，设网络中有J个节点，定义节点j的邻居节点为Nj，目标是根据在节点j处的到的观察值估计一个Rp×1向量s；Lj表示xj的维数，表示Lj维列向量的集合，xj表示在第j个节点得到的数据，p表示p维，Rp×1表示p维列向量的集合，即表示向量s是一个p维的列向量；表示在节点j针对xj的目标优化函数；引入一个辅助变量sj并以下列方式表示问题。Subjectto：表示网络中所有桥节点都拥有的本地向量，B表示网络中的所有桥节点的集合，b表示网络中的桥节点b，Nb表示与桥节点b相邻的所有工作节点的集合；是桥节点的集合，其拥有本地向量针对上述优化问题的拉格朗日表达式如下：其中是一个大于0的常量，v表示网络上所有的集合，表示针对节点j与所对应的桥节点b的拉格朗日乘子，cj表示为节点j所对应的拉格朗日惩罚系数，表示表示网络中所有桥节点都拥有的本地向量，针对上述优化问题采用基于桥节点和工作节点的分布式ADMM算法进行求解。进一步的，所述对网络节点进行初始化具体包括步骤：对于节点i，如果其相邻的节点中存在桥节点，则将节点i设置为工作节点，如果与节点i相邻的所有节点中没有桥节点，则将节点i设置为桥节点。进一步的，为保证分布式算法的收敛性，针对网络中工作节点j，如果工作节点j与其相邻的工作节点间不存在共同的桥节点，就将工作节点j设置为与其相邻的工作节点的桥节点。进一步的，定义如下参数：latencybridge(b)：节点i与和节点i相邻的第b个相邻的桥节点之间的延迟；B(i)：与节点i相邻的所有桥节点的集合；NB(b,i)：表示与节点i相邻的节点中，同时与和节点i相邻的第b个相邻的桥节点相邻的节点；SNB(b,i)：集合NB(b,i)中节点的个数；Lmax(i)：表示与节点i相邻的所有节点到节点i的延迟中的最大值；Lmax(j)：表示在NB(b,i)中的第j个节点，与第j个节点相邻的所有节点中到第j个节点的最大值；minLmaxNeigh(i)：与节点i相邻的所有节点中的Lmax值中的最小值；Lmaxno-bridge(i)：表示与节点i相连的所有工作节点到节点i的延迟的最大值；所述针对网络延迟，动态地规划桥节点的位置和个数具体包括以下步骤：遍历与节点i相连的所有桥节点，首先判断latencybridge(b)是否大于允许的最大延迟并且如果成立，则判断节点i是否为桥节点，如果节点i是桥节点，则将B(i)中第b个桥节点移除；如果节点i不是桥节点则判断Lmaxno-bridge(i)是否小于minLmaxNeigh(i)，如果成立，则将节点i设置为桥节点，并告知其所有与节点i相连的节点，并将B(i)中第b个桥节点移除；如果不成立则遍历NB(b,i)中的所有节点，判断以下一组条件是否同时满足：Lmaxno-bridge(i)>＝Lmax(j)，Lmax(j)<latencybridge(b)Lmax(j)<latencylimit，SNB(b,i)>0，如果同时满足将NB(b,i)中的第j个节点设置为桥节点。进一步的，所述ADMM的迭代算法具体包括以下步骤：首先进行初始化工作，即对赋初值以及设定最大迭代次数，然后判断迭代次数是否超过最大迭代次数，没有超过就进行迭代运算：工作节点接收到来自其桥节点的并结合本地的sj(k)和通过迭代公式得到更新值得到更新值后通过迭代公式得到更新值sj(k+1)，然后工作节点将sj(k+1)给对应的桥节点，桥节点根据迭代公式得到更新值并将发送给对应的工作节点；当迭代次数超过最大迭代次数时停止迭代计算，得到的近似最优解。本专利技术的优点及有益效果如下：由于基于桥节点与工作节点的ADMM优化算法仅依赖于相邻节点之间的通信，较集中式算法更加节能，同时针对高延迟网络，本算法根据网络中节点连接延迟的情况，动态地规划桥节点的位置和个数。本算法在相当程度上可以克服网络延迟、动态性、拓扑形态、带宽限制、数据分布化存储等网络特性对算法性能造成的影响。附图说明图1是本专利技术提供优选实施例针对ad-hoc的网络拓扑图；图2为桥节点初始化的第一算法流程图；图3为桥节点初始化的第二算法流本文档来自技高网...

【技术保护点】
1.一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，针对ad-hoc网络将凸优化问题分解成子凸优化问题进行求解，为得到凸优化问题的全局最优解，机器学习方法包括以下步骤：/n针对网络延迟对基于桥节点和工作节点的分布式ADMM算法运行时间的影响，对网络节点进行初始化，并根据网络中节点连接延迟的情况，动态地规划桥节点的位置和个数。/n

【技术特征摘要】
1.一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，针对ad-hoc网络将凸优化问题分解成子凸优化问题进行求解，为得到凸优化问题的全局最优解，机器学习方法包括以下步骤：
针对网络延迟对基于桥节点和工作节点的分布式ADMM算法运行时间的影响，对网络节点进行初始化，并根据网络中节点连接延迟的情况，动态地规划桥节点的位置和个数。


2.根据权利要求1所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，在ad-hoc网络中，设网络中有J个节点，定义节点j的邻居节点为Nj，目标是根据在节点j处的到的观察值估计一个Rp×1向量s；Lj表示xj的维数，表示Lj维列向量的集合，xj表示在第j个节点得到的数据，p表示p维，Rp×1表示p维列向量的集合，即表示向量s是一个p维的列向量；


表示在节点j针对xj的目标优化函数；
引入一个辅助变量sj并以下列方式表示问题。



Subjectto：

b∈B，j∈Nb，表示网络中所有桥节点都拥有的本地向量，B表示网络中的所有桥节点的集合，b表示网络中的桥节点b，Nb表示与桥节点b相邻的所有工作节点的集合；

是桥节点的集合，其拥有本地向量针对上述优化问题的拉格朗日表达式如下：



其中是一个大于0的常量，v表示网络上所有的集合，表示针对节点j与所对应的桥节点b的拉格朗日乘子，cj表示为节点j所对应的拉格朗日惩罚系数，表示表示网络中所有桥节点都拥有的本地向量，针对上述优化问题采用基于桥节点和工作节点的分布式ADMM算法进行求解。


3.根据权利要求2所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，所述对网络节点进行初始化具体包括步骤：对于节点i，如果其相邻的节点中存在桥节点，则将节点i设置为工作节点，如果与节点i相邻的所有节点中没有桥节点，则将节点i设置为桥节点。


4.根据权利要求3所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，为保证分布式算法的收敛性，针对网络中工作节点j，如果工作节点j与其相邻的工作节点间不存在共同的桥节点，就将工作节点j设置为与其相邻的工作节点的桥节点。


5.根据权利要求4所述的一种优化网络延迟的分布式ADMM机器学习方法...

【专利技术属性】
技术研发人员：曾帅，王爽胜，张毅，周瑜民，肖俊，张烨，赵国峰，段洁，刘亮，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50