一种约束优化问题的线性收敛分布式离散时间优化算法制造技术

本发明专利技术考虑了带有一个全局闭凸集约束的凸优化问题。本发明专利技术的目的是以分布式方法来解决所研究的优化问题，即只通过局部计算和局部信息交换的方式来获取优化问题的最优解。为此，分别在有向平衡图上和有向非平衡图上设计出了基于梯度追踪框架的分布式离散时间算法。由于经典投影法不适合处理梯度跟踪框架下的闭凸集约束，本发明专利技术采用一种新的间接投影法来处理所涉及的闭凸集约束。此外，还引入了两个时间尺度来完成收敛性分析，证明算法拥有线性收敛速率。本发明专利技术的一个重大创新是，找到了一个有效的闭凸集约束处理方法来和梯度追踪方法融合，率先在非平衡图上以带有线性收敛速率的分布式算法解决了带有约束的凸优化问题。

【技术实现步骤摘要】
一种约束优化问题的线性收敛分布式离散时间优化算法
本专利技术涉及多智能体系统的分布式优化
，特别涉及一种约束优化问题的线性收敛分布式离散时间优化算法。
技术介绍
多智能体系统的分布式优化问题就是只通过局部计算和局部信息交换来寻找问题一致最优解。目前，随着对大规模约束优化问题的重视日益增加，对各种优化问题的研究也已经取得了许多优秀的成果。在已有的研究成果中，不仅采用了离散时间算法，还采用了连续时间算法。近年来，设计分布式连续时间算法来处理优化问题变得越来越普遍，对于连续时间算法，分析其收敛性比较方便，但也存在一些不足，如难以精确比较不同算法的收敛速度，难以在有向图和时变图上解决相关的优化问题。因此，有必要采用离散时间算法来解决这些问题。但是，现有的离散时间算法所用的步长都是衰减的，所以收敛速度慢。为了加快算法的收敛速度，一些技术提出了带有固定步长的算法，并证明了算法具有线性收敛速度。然而，这些方法只考虑了带权平衡有向图的情形，为了将这些结果推广到权重不平衡的情况，一些技术提出了解决算法。但这些算法只考虑了无约束优化问题，在现实中，优化问题往往是有约束的。而一些结果针对约束优化问题给出了带固定步长的离散时间算法，虽然算法采用了固定步长，但却不能达到线性收敛速度。因此，本专利技术的目的是设计具有线性收敛速度的离散时间算法，以解决具有闭凸集约束的分布式约束优化问题。
技术实现思路
本专利技术主要考虑基于梯度追踪方法分别在有向平衡图和有向非平衡图上解决带有一个全局闭凸集约束的凸优化问题。为了实现上述目的，本专利技术将通过如下的技术方案来实现：一种约束优化问题的线性收敛分布式离散时间优化算法，包括以下步骤：步骤1：对凸优化问题模型和最优性条件给出具体描述；步骤2：基于梯度追踪框架设计平衡图上的分布式离散时间算法；步骤3：引入两个时间尺度对平衡图上的分布式离散时间算法进行收敛性分析；步骤4：基于行随机矩阵关于特征值1的左特征向量估计方法，设计非平衡图上的分布式离散时间算法；步骤5：使线性矩阵不等式相关矩阵的谱半径严格小于1，得到非平衡图上的分布式离散时间算法的严格收敛性。具体如下：1.凸优化问题和最优性条件：本节考虑带有一个全局闭凸集约束的凸优化问题如下：其中s是的决策变量。Ω0是上的闭凸集。fi是节点i在上的局部凸目标函数。为了方便叙述。在后续的分析中假设n＝1，同时将在后面的注释5来讨论n>1时的情况。为了后续分析方便，首先对优化问题的目标函数作一下假设。假设1.对于所有的i＝1,2,...,N，函数fi都在上α-强凸且L-光滑。容易得到若假设1成立，则全局目标函数f也α-强凸和L-光滑。接下来。在f的α-强凸和L-光滑性质下。将给出下面的重要引理。引理1.令函数f是上α-强凸且L-光滑的函数，对于任意的成立其中，u和v是中的任意两个向量，γ＝max{|1-ηα|,|1-ηL|}。接下来将对凸优化问题(1)的最优性条件做一个具体的描述。引理2.s*是凸优化问题(1)的最优值点当且仅当对于任意的正实数ν0有s*是凸优化问题(1)的最优值点当且仅当此外，对于任意的正实数ν0，凸优化问题(1)等价于minv0f(s)s.t.s∈Ω0,(3)因此可以得到引理2中的结果。在接下来的两个小节中。将分别在平衡图上和非平衡图上给出可以线性解决凸优化问题(1)的分布式离散时间算法。2.平衡图上的分布式离散时间算法及收敛性分析：在这一小节，考虑在强连通的平衡图上设计带有固定步长的分布式离散时间算法来线性解决凸优化问题(1)。算法设计为其中xi(t)是节点i在t步的状态变量，yi(t)是节点i在t步对全局目标函数梯度的估计，矩阵A是设计为双随机矩阵的关联于给定强连通平衡图的邻接矩阵，η>0是一个固定步长，此外。初始值xi(0)可以任意选择，令则可以把算法(3)写成紧形式x(t+1)＝PΩ(Ax(t))-ηy(t)，(5a)为了后续对于算法收敛性的分析，定义变量由引理2可知s*是凸优化问题(1)的最优解。引理3.对于算法(4)和选定的初始值，下面等式成立：证明：从迭代公式(4a)和的定义可直接得到(5a)成立。下面验证(5b)成立。由(4b)易知从而有亦即这意味着变量不随着t的改变而改变，所以又因为所以因此从而得证。接着将在假设1下，用变量和的线性组合来约束变量和从而构造出线性矩阵系统不等式。最终。通过选择合适的步长来使相关的系统不等式矩阵的谱半径严格小于1。从而得到所有节点的状态变量xi(t)线性收敛到x*。步骤1：放缩从迭代公式(4a)和在引理3中的不等式(5a)可得进而得存在正实数ρ′<1使得从而有步骤2：放缩由(5a)可知由假设1成立可得也是L-连续的。因此，若步长满足则可以通过引理1和(10)得到步骤3：放缩从迭代公式(4b)和在引理3中得到的不等式(5b)可知也就意味着对于||x(t+1)-x(t)||这一项，首先从迭代公式(4a)和x*的定义可知接着由于引理3中的(5b)成立，可以根据(14)得到此外，注意到可以得到类似于(16)有把(16)和(17)代入(15)即可得进而把(18)代入(13)即可得到接下来，通过上面得到的不等式(9)、(11)和(19)，在下面的引理中构造一个线性矩阵不等式系统来完成整个算法的收敛性证明。引理4.令假设1成立，当算法(15)中的步长满足则对于算法中的更新变量满足线性矩阵不等式其中注1.从引理4可知，若ρ(G1′)<1，则和将以线性的速率衰减到0。而为了使ρ(G1′)<1，需要要求矩阵G1′的对角线元素都严格小于1，也就是需要2ρ′<1，这对于一般的强连通图而言是非常困难的。因此，若对于给定的强连通图，无法找到一个可以满足2ρ′<1的邻接矩阵A，则需要对算法(15)做一些改进。这就需要引入两个时间尺度，包括一个快时间尺度m和一个慢时间尺度t。进一步地，对于状态变量xi(t)的更新，首先需要选取初始值xi(m＝0,t)＝xi(t)来运行关于快时间尺度m的迭代其中M是一个满足的正整数。然后运行相关于慢时间尺度t的迭代从而由可得因此类似于步骤1中(8)的推导可以得到其中0＜ρ＜1为一个常数。为了方便后面的叙述，对本文档来自技高网...

【技术保护点】
1.一种约束优化问题的线性收敛分布式离散时间优化算法，其特征在于，包括以下步骤：/n步骤1：对凸优化问题模型和最优性条件给出具体描述；/n步骤2：基于梯度追踪框架设计平衡图上的分布式离散时间算法；/n步骤3：引入两个时间尺度对平衡图上的分布式离散时间算法进行收敛性分析；/n步骤4：基于行随机矩阵关于特征值1的左特征向量估计方法，设计非平衡图上的分布式离散时间算法；/n步骤5：使线性矩阵不等式相关矩阵的谱半径严格小于1，得到非平衡图上的分布式离散时间算法的严格收敛性。/n

【技术特征摘要】
1.一种约束优化问题的线性收敛分布式离散时间优化算法，其特征在于，包括以下步骤：
步骤1：对凸优化问题模型和最优性条件给出具体描述；
步骤2：基于梯度追踪框架设计平衡图上的分布式离散时间算法；
步骤3：引入两个时间尺度对平衡图上的分布式离散时间算法进行收敛性分析；
步骤4：基于行随机矩阵关于特征值1的左特征向量估计方法，设计非平衡图上的分布式离散时间算法；
步骤5：使线性矩阵不等式相关矩阵的谱半径严格小于1，得到非平衡图上的分布式离散时间算法的严格收敛性。


2.根据权利要求1所述的约束优化问题的线性收敛分布式离散时间优化算法，其特征在于，所述步骤1中凸优化模型和最优性条件具体为：
凸优化模型：



其中s是的决策变量，Ω0是上的闭凸集，fi是节点i在上的局部凸目标函数，
接下来将对凸优化问题(1)的最优性条件做一个具体的描述：
s*是凸优化问题(1)的最优值点当且仅当对于任意的正实数ν0有





3.根据权利要求1所述的约束优化问题的线性收敛分布式离散时间优化算法，其特征在于，所述步骤2中平衡图上的分布式离散时间算法的设计具体为：






其中xi(t)是节点i在t步的状态变量，yi(t)是节点i在t步对全局目标函数梯度的估计，矩阵A是设计为双随机矩阵的关联于给定强连通平衡图的邻接矩阵，η>0是一个固定步长，此外，初始值xi(0)可以任意选择，


4.根据权利要求1所述的约束优化问题的线性收敛分布式离散时间优化算法，其特征在于，所述步骤3中平衡图上的分布式离散时间算法的收敛性证明的具体步骤为：
当步长满足则算法中的更新变量满足线性矩阵不等式



其中



若ρ(G1′)<1，则和将以线性的速率衰减到0，而为了使ρ(G1′)＜1，需要要求矩阵G1...

【专利技术属性】
技术研发人员：虞文武，陈都鑫，王和，刘洪喆，齐颖涵，
申请(专利权)人：群智未来人工智能科技研究院无锡有限公司，
类型：发明
国别省市：江苏;32