一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法技术

本发明专利技术公开了一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法，包括如下步骤：初始化变量、确定时延值和激活节点、清除过时信息、搭建网络、确定参数、更新变量；在本发明专利技术中，我们采用了一种非常通用的异步模型。在该模型中，1)所有的智能体可以在任意时刻且没有任何协调控制下与它们的近邻进行通信；2)通过使用时延信息，所有的智能体可以进行局部处理自己的子问题。因此，异步算法可以极大地减少通信链路的空闲时间，缓解网络和内存访问拥塞，节省电源，而且对实际网络系统具有更强的鲁棒性和容错性。本发明专利技术在大规模机器学习和网络信息处理中有着广泛的应用。

【技术实现步骤摘要】
一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法
本专利技术涉及通讯数据分布式优化
，具体涉及一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法。
技术介绍
早期，工业数据大都体积小、维度低，数据往往就保存在一个智能体系统中，这仅依靠集中式算法就可以有效地处理这些简易数据。但是，随着工业数据种类增多，数据往往存储在多个智能体系统中，数据也变得复杂难以处理，集中式算法已经难以适用于处理工业数据。研究者们开始致力于分布式算法的研究。当前的系统存在两种经典的体系结构：主从计算体系结构和分布式计算体系结构。我们以4个智能体为例来简要地分析两种体系结构的区别，如图1和图2所示。明显地，在主从计算体系结构中，所有的从智能体是不能解决自己的局部问题，它们只能将数据发送给主智能体，经过主智能体处理，再反馈给相应的从智能体。该体系结构过于依赖主智能体，对主智能体计算性能要求过高，一旦主智能体崩溃，整个网络系统都将瘫痪。同时，主智能体集中所有从智能体的信息，容易导致信息泄露，因而无法有效保护用户·信息安全。但是，在分布式本文档来自技高网...

【技术保护点】
1.一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法，包括如下步骤：/n1、对所有智能体i∈V的所有变量进行初始化设置；/n2、将所有智能体i∈V的迭代次数k设置为0，再设置一个最大迭代次数k

【技术特征摘要】
1.一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法，包括如下步骤：
1、对所有智能体i∈V的所有变量进行初始化设置；
2、将所有智能体i∈V的迭代次数k设置为0，再设置一个最大迭代次数kmax作为算法停止迭代更新的准则；
3、搭建一个有向强连通的非平衡源网络G；根据G的邻接矩阵，可以得到行随机矩阵A和列随机矩阵B；与此同时，还引入矩阵W＝{wij}来表示矩阵A或B；对于智能体i∈V，存在使得对于(j,i)∈E，存在使得否则，wij＝0；
4、根据激活规则确定激活智能体ik和相关联的时延值其中，激活智能体ik的个数大于等于1，
5、清除过时信息；
6、在源网络G的基础上通过添加虚拟智能体搭建增广网络从而得到增广行随机矩阵和增广列随机矩阵
7、设置0＜T＜∞、0＜D＜∞；其中，T表示所有的智能体在T次迭代内必须激活至少一次；D表示最大时延值，即：时延信息在D次迭代内是可以有效使用的；如果超过D次迭代，时延信息就过期将被系统清除；
8、根据建立的通信网络图以及行列随机矩阵的属性，计算下列参数：

其中K1＝(2m-1)T+mD；



9、根据目标函数的强凸系数μ以及利普希茨连续系数Lf，计算下列参数：

a9＝C4mLfλ，
a2＝(1+ρ)C1,a10＝C4mLf,
a3＝C1m,a11＝μη2,a15＝2m,
a4＝C1mLf,a12＝mLf,a16＝m.
其中，定义
10、根据目标函数的强凸系数μ以及利普希茨连续系数Lf，计算最大步长最大步长与最小步长之差Δα以及最大动量参数如下：









其中，ω1,ω2,ω3,ω4是任意正整数，且满足0＜ω3，以及
11、每个激活智能体ik更新变量如下：



12、每个激活智能体ik更新变量如下：



其中，是重球动量项，用于加速变量的更新计算；
13、引入变量采用Nesterov梯度加速法进行双加速运算，具体过程如下：
对于每个激活智能体ik，有

【专利技术属性】
技术研发人员：李华青，程胡强，夏大文，吴国成，王政，吕庆国，王慧维，纪良浩，郭靖，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆;50