一种考虑通信时延的基于方差缩减技术的分布式投影方法技术

本发明专利技术公开了一种考虑通信时延的基于方差缩减技术的分布式投影方法，包括如下步骤：步骤1、针对同时具备本地集合约束和本地等式约束的多智能化系统提出原始优化问题模型(1)；步骤2、将步骤1所得的原始优化问题模型(1)进行等价转换成便于分布处理的凸优化问题模型(2)；步骤3、提出基于方差缩减技术的分布式投影算法(3)解决带约束的凸优化问题模型(2)，即采用局部随机平均梯度无偏地估计局部全梯度，以此来减轻在每次迭代中计算所有局部目标函数的全梯度而导致的沉重的计算负担；步骤4、进行收敛性分析；本发明专利技术可以大幅度降低网络中所有智能体的计算成本，从而减轻整个多智能体系统的通信与计算压力，具有较高的实用性。

【技术实现步骤摘要】
一种考虑通信时延的基于方差缩减技术的分布式投影方法
本专利技术涉及智能通信
，具体涉及一种考虑通信时延的基于方差缩减技术的分布式投影方法。
技术介绍
近年来，随着高科技的蓬勃发展,特别是云计算和大数据等新兴领域的出现。分布式优化理论和应用得到了越来越多的重视，并逐渐渗透到科学研究、工程应用和社会生活的各个方面，分布式优化是通过多个智能体之间的合作协调有效地实现优化的任务，可用来解决许多集中式算法难以胜任的大规模复杂的优化问题。但是现有的分布式优化算法在面对大规模且带有较为复杂的本地约束的凸优化问题时，梯度计算量大，网络中智能体计算负担沉重，从而导致多智能体系统的计算与通信效率低下等不足，因此无法满足人们的要求。
技术实现思路
本专利技术为了解决上述问题，提供了一种可以大幅度降低网络中智能体的计算成本，从而减轻整个多智能体系统的通信与计算压力的基于方差缩减技术的分布式投影算法。本专利技术采用如下技术方案：一种考虑通信时延的基于方差缩减技术的分布式投影方法，包括如下步骤：步骤1、针对同时具备本地集合约束和本地等式约束的多智能化系统提出原始优化问题模型(1)；步骤2、将步骤1所得的原始优化问题模型(1)进行等价转换成便于分布处理的凸优化问题模型(2)；步骤3、提出基于方差缩减技术的分布式投影算法(3)解决带约束的凸优化问题模型(2)，即采用局部随机平均梯度无偏地估计局部全梯度，以此来减轻在每次迭代中计算所有局部目标函数的全梯度而导致的沉重的计算负担；步骤4、对步骤3提出的基于方差缩减技术的分布式投影算法(3)进行收敛性分析；作为本专利技术的一种优选技术方案，所述步骤1中原始优化问题模型(1)的具体构建过程以及形式如下：首先：定义一个智能体集群V＝{1,…,m}，通信网络边集和邻接矩阵的无向通信网络并且简单网络G没有自循环；当智能体(i,j)∈E时，aij＝aji＞0，否则aij＝aji＝0；智能体i的度表示为对于对角矩阵D＝diag{d1,d2,...,dm}，无向网络G的拉普拉斯矩阵定义为如果无向网络G是连通的，那么拉普拉斯矩阵就是对称的并且是半正定的；其次，原始优化问题模型(1)的具体形式如下在上式中，所述目标函数表示实际问题中需要处理的样本，所述表示决策向量，qi表示分配给智能体i的局部问题总数；同时在上式中将局部目标函数进一步分解为其中h∈{1,…,qi}为第h个局部目标函数的子函数；基于以上，定义为闭凸集，并且交集X是非空的，定义一个列满秩矩阵和定义带约束凸优化问题(1)的最优解为作为本专利技术的一种优选技术方案，所述步骤2中凸优化问题模型(2)的具体形式如下：其中xi为智能体i对决策向量的估计值；定义矩阵B为一个列满秩的对角矩阵，对角元素为{B1,...,Bm}，即堆叠向量令为笛卡儿积；令其中表示克罗内克积符号；qi的最大值和最小值分别表示为qmax和qmin(其中qmin≥1，即：每个智能体至少处理一个样本)；根据以上陈述，可得到λmin(BTB)qmin＞0；基于上述凸优化问题模型(2)进行如下假设和定义：假设1：每个局部子目标函数fih都是强凸的，并且都有利普希茨连续梯度。即：对于所有的i∈V，h∈{1,...,qi}，和都有下列式子成立：其中0＜μ≤Lf；则，在假设一成立的条件下，带约束凸优化问题(2)的全局最优解是唯一存在的，并表示为假设2：无向网络G是连通的；假设3：对于和存在其中B0为一个正的整数。定义1：定义全局向量去收集局部变量xi,k,yi,k,wi,k,gi,k和如下：以及全局向量xk和wk局部延迟的版本：则，在第k次迭代时，通信时延i,j∈V，由智能体i和智能体j同时决定，因此，全局延迟向量xk[i]和wk[i]仅被智能体i所持有。作为本专利技术的一种优选技术方案，所述步骤3中基于方差缩减技术的分布式投影算法(3)的具体迭代过程如下：初始化：对于所有的智能体i∈V，初始化xi,0,设置：k＝0对于智能体i＝1,...,m，执行1：从集合{1,...,qi}中任意选择一个样本2：计算局部随机平均梯度如下3：设置并且存储4：更新变量xi,k+1如下5：更新变量yi,k+1如下yi,k+1＝yi,k+Bixi,k+1-bi6：更新变量wi,k+1如下wi,k+1＝wi,k+βxi,k+1循环结束设置k＝k+1，重复上述循环直到满足停止条件；其中，所述为局部目标函数的子函数h∈{1,...,qi}在第k次迭代处的迭代值，表示n维实列向量。作为本专利技术的一种优选技术方案，所述的迭代规则如下：在迭代k处，对智能体i，定义局部随机平均梯度：其中可以利用如下迭代进行计算：令Fk表示由局部随机平均梯度在迭代k产生的σ代数，则可得如下等式：作为本专利技术的一种优选技术方案，所述步骤4中的收敛分析过程如下：首先进行如下定义：定义2：对于0＜α＜1/λmax(L)，定义一个半正定矩阵P为：其中W＝I-αL为一个正定矩阵，于是有：其中向量和U*＝[(x*)T,(y*)T,(w*)T]T；则结合假设1-3以及定义1-2可得：在假设1-3成立的条件下，考虑基于方差缩减技术的分布式投影算法(3)和定义2中Uk与U*的定义，如果参数η，φ和ξ满足：0＜φ＜2μ(21b)则，常数步长α和算法参数β满足:那么序列{Uk}k≥0是有界且收敛的，那么序列{xk}k≥0是唯一收敛于x*的。本专利技术的有益效果是：1、本专利技术所提出的算法通过借助局部随机平均梯度无偏地估计局部全梯度，因而可以大幅度降低网络中智能体的计算成本，从而减轻整个多智能体系统的通信与计算压力，在达到相同收敛精度时花费更少的梯度计算成本，同时也需要更少的通信次数；2、与现有的分布式随机梯度优化算法相比，本专利技术所提出的算法能解决更为复杂的优化问题，即：同时带有本地集合约束和本地等式约束的凸优化问题；3、与现有绝大多数考虑通信时延的优化算法相比，本专利技术所提算法在引入通信时延的同时还考虑了智能体本地信息的隐私性，具有更强的实用价值。附图说明图1无向网络连通图；图2为本专利技术算法与现有技术算法的算法性能对比图；图3为本专利技术在无通信时延情况下智能体瞬时行为；图4为本专利技术在有通信时延情况下智能体瞬时行为；具体实施方式现在结合附图以及实施例对本专利技术进行进一步详细说明。首先，对于以下本文档来自技高网...

【技术保护点】
1.一种考虑通信时延的基于方差缩减技术的分布式投影方法，包括如下步骤：/n步骤1、针对同时具备本地集合约束和本地等式约束的多智能化系统提出原始优化问题模型(1)；/n步骤2、将步骤1所得的原始优化问题模型(1)进行等价转换成便于分布处理的凸优化问题模型(2)；/n步骤3、提出基于方差缩减技术的分布式投影算法(3)解决带约束的凸优化问题模型(2)，即采用局部随机平均梯度无偏地估计局部全梯度，以此来减轻在每次迭代中计算所有局部目标函数的全梯度而导致的沉重的计算负担；/n步骤4、对步骤3提出的基于方差缩减技术的分布式投影算法(3)进行收敛性分析。/n

【技术特征摘要】
1.一种考虑通信时延的基于方差缩减技术的分布式投影方法，包括如下步骤：
步骤1、针对同时具备本地集合约束和本地等式约束的多智能化系统提出原始优化问题模型(1)；
步骤2、将步骤1所得的原始优化问题模型(1)进行等价转换成便于分布处理的凸优化问题模型(2)；
步骤3、提出基于方差缩减技术的分布式投影算法(3)解决带约束的凸优化问题模型(2)，即采用局部随机平均梯度无偏地估计局部全梯度，以此来减轻在每次迭代中计算所有局部目标函数的全梯度而导致的沉重的计算负担；
步骤4、对步骤3提出的基于方差缩减技术的分布式投影算法(3)进行收敛性分析。


2.根据权利要求1所述的一种考虑通信时延的基于方差缩减技术的分布式投影方法，其特征在于：
所述步骤1中原始优化问题模型(1)的具体构建过程以及形式如下：
首先：定义一个智能体集群V＝{1,…,m}，通信网络边集和邻接矩阵的无向通信网络并且简单网络G没有自循环；
当智能体(i,j)∈E时，aij＝aji＞0，否则aij＝aji＝0；
智能体i的度表示为
对于对角矩阵D＝diag{d1,d2,...,dm}，无向网络G的拉普拉斯矩阵定义为
如果无向网络G是连通的，那么拉普拉斯矩阵就是对称的并且是半正定的；
其次，原始优化问题模型(1)的具体形式如下



在上式中，所述目标函数表示实际问题中需要处理的样本，所述表示决策向量，qi表示分配给智能体i的局部问题总数；
同时在上式中将局部目标函数进一步分解为其中为第h个局部目标函数的子函数；
基于上式，定义为闭凸集，并且交集X是非空的，定义一个列满秩矩阵和定义带约束凸优化问题(1)的最优解为


3.根据权利要求2所述的一种考虑通信时延的基于方差缩减技术的分布式投影方法，其特征在于：
所述步骤2中凸优化问题模型(2)的具体形式如下：



其中xi为智能体i对决策向量的估计值；
定义矩阵B为一个列满秩的对角矩阵，对角元素为{B1,...,Bm}，即堆叠向量令为笛卡儿积；记其中表示克罗内克积符号；qi的最大值和最小值分别表示为qmax和qmin(其中qmin≥1，即：每个智能体至少处理一个样本)；根据以上陈述，可得到λmin(BTB)qmin＞0；
基于上述凸优化问题模型(2)进行如下假设和定义：
假设1：每个局部子目标函数fih都是强凸的，并且都有利普希茨连续梯度。即：对于所有的i∈V，h∈{1,...,qi}，和都有下列式子成立：






其中0＜μ≤Lf；
则，在假设一成立的条件下，带约束凸优化问题(2)的全局最优解是唯一存在的，并表示为
假设2：无向网络G是连通的；
假设3：对于和存在



其中B0为一个...

【专利技术属性】
技术研发人员：李华青，胡锦辉，夏大文，陈欣，王政，吕庆国，黄廷文，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆;50