一种基于Barzilai-Borwein步长的多步通信分布式优化方法技术

本发明专利技术涉及一种基于BB步长的多步通信分布式优化方法，属于大规模机器学习及信息处理技术领域。该方法包括：1)确定问题目标函数及其强凸系数和光滑系数；2)搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；3)将系统所有变量进行初始化；4)利用节点当前所储存的变量信息计算BB步长；5)系统根据相关参数计算内循环次数P；6)节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。本发明专利技术能够在有向强连通非平衡通信网络下解决无约束优化问题；提高所提算法收敛速率和梯度估计精确性。

【技术实现步骤摘要】
一种基于Barzilai-Borwein步长的多步通信分布式优化方法
本专利技术属于大规模机器学习及信息处理
，涉及一种基于BB步长的多步通信分布式优化方法。
技术介绍
随着互联网、计算机、人工智能的发展，造成了数据的泛滥，如何有效处理数据正成为各行业亟待解决的难题。当前，存在两种有效的数据处理方法：集中式优化算法和分布式优化算法。集中式优化算法主要是凭借中心处理器的计算能力对数据进行分析和处理。当数据简单且网络规模不大时，集中式优化算法可以高效地对数据进行处理。然而，由于中心处理器受物理硬件发展受限约束，其计算能力极为有限。因此，集中式优化算法对于大规模网络数据处理无能为力。同时，由于集中式算法对于信息的收集、分析以及处理都是由中心处理器完成，因此其也存在单点失效与鲁棒性差的问题。分布式优化算法是将一个复杂的任务分解成多个易处理的子任务，再采用分布式计算方式对所有子任务进行有效处理。由于分布式优化在资源分配、智能电网、控制系统等领域中展现出巨大的应用价值，分布式优化的研究受到人们越来越多的重视。在分布式优化算法中，网络中的节点解决分布式本文档来自技高网...

【技术保护点】
1.一种基于Barzilai-Borwein步长的多步通信分布式优化方法，其特征在于，该方法具体包括以下步骤：/nS1：确定问题目标函数及其强凸系数和光滑系数；/nS2：搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；/nS3：将系统所有变量进行初始化；/nS4：利用节点当前所储存的变量信息计算BB步长；/nS5：系统根据相关参数计算内循环迭代次数P；/nS6：节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。/n

【技术特征摘要】
1.一种基于Barzilai-Borwein步长的多步通信分布式优化方法，其特征在于，该方法具体包括以下步骤：
S1：确定问题目标函数及其强凸系数和光滑系数；
S2：搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；
S3：将系统所有变量进行初始化；
S4：利用节点当前所储存的变量信息计算BB步长；
S5：系统根据相关参数计算内循环迭代次数P；
S6：节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。


2.根据权利要求1所述的多步通信分布式优化方法，其特征在于，所述步骤S1具体包括：确定优化问题为：

其中
其中，x*表示最优解；每个局部目标函数其中，表示全体实数集，表示n维实数向量，表示节点集；每个局部目标函数fi是强凸且光滑的，强凸系数和光滑系数分别为μ和l，满足l≥μ＞0，即：对于所有的节点以及有






其中，表示局部目标函数fi的梯度。


3.根据权利要求2所述的多步通信分布式优化方法，其特征在于，所述步骤S2具体包括：搭建含有m个节点的有向强连通非平衡通信网络其中表示节点集，ε表示有向边集，即：对于任意，如果(i，j)∈ε，表示节点i可以给节点j发送信息；定义：表示节点i的入-邻居节点集合；表示节点i的出-邻居节点集合；根据网络拓扑相应的邻接矩阵，构建行列随机权重矩阵和其中，








4.根据权利要求3所述的多步通信分布式优化方法，其特征在于，所述步骤S3具体包括：所有节点设置k＝0以及最大迭代次数kmax；每个节点持有变量信息：xi和yi，变量xi是对局部最优解的估计值，辅助变量yi追踪局部梯度的均值在第k次迭代时，变量的值分别表示为和然...

【专利技术属性】
技术研发人员：程婕，程胡强，许国良，李天骄，伍荣森，王臻，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50