一种保护隐私的分布式零阶对偶平均在线优化方法及系统技术方案

本发明专利技术涉及一种保护隐私的分布式零阶对偶平均在线优化方法及系统，属于信息通信技术领域

【技术实现步骤摘要】
一种保护隐私的分布式零阶对偶平均在线优化方法及系统


[0001]本专利技术属于信息通信
，涉及一种保护隐私的分布式零阶对偶平均在线优化方法及系统
。

技术介绍

[0002]近年来，由于网络控制系统中通信和传感技术的进步，需求各异的优化任务纷纷出现
。
以往传统的集中式优化方法解决这些优化任务时，通常会使用一个中心节点来完成计算
、
通信和存储
。
然而，这种方法容易受到单点故障的影响，在当前的新场景中也缺乏鲁棒性，并且在存储设备上的花费也非常巨大
。
与传统的集中式优化相比，分布式优化方法将大规模问题分解为较小规模的问题，以避免远距离通信
。
同时，分布式优化方法还减少了通信负担，提供了效果更好的隐私保护，并且实现了更好的鲁棒性
。
这使得分布式优化方法在各类领域得到了广泛的应用，比如大规模数据分析，信息控制，智能电网，在线学习等领域
。
[0003]然而，许多分布式优化的实际应用场景具有极大的不确定性，例如无线网络中在线预测和估计问题
。
这些问题可以在在线优化的架构中解决，然而其中与节点相关的功能可能会随着时间的推移而发生变化，而这种变化只能在事后被节点捕获
。
适用于在线优化问题的有效方法有相当多，包括早期基于分布式梯度下降方法的一些研究，以及它们在求解约束问题
、
应用于复杂网络
、
提高效率
、
保护隐私等方面的各种扩展
。
[0004]分布式对偶平均优化方法也为在线优化问题的解决提供了许多新的思路
。
针对无向网络上的在线约束优化问题，有研究者专利技术了一种分布式对偶平均优化方法
。
然而，在实际的在线优化问题中，信息的传递通常不是双向的，导致了通信网络结构的不平衡
。
为了解决这个问题，已经出现了几种分布式对偶平均方法
。
这些方法采用推
‑
和策略和基于盈余的策略等有效策略来克服不平衡定向网络带来的问题
。
最近，许多研究进一步考虑了时变有向网络中的更为普遍情况
。
例如，随机对偶平均方法中引入了一种分布式对偶平均推
‑
和算法来解决时变有向网络的在线约束优化问题
。
与随机对偶平均方法中使用的推
‑
和协议不同，有研究者提出了一种涉及构造行随机矩阵和重新缩放零阶梯度的策略，该策略在克服时变有向网络的不平衡问题方面有显著的效果
。
[0005]令人遗憾的是，上述方法都涉及到学习整个损失函数或损失函数的次梯度，这在一些实际应用中是无法实现的，如数据网络中的在线源点路由定位
、
对抗性黑箱机器学习等场景
。
这促使人们采用零阶梯度方法，即仅使用损失函数的值来近似损失函数的梯度
。
此外，人们还研究了许多分布式零阶梯度方法
。
这些去中心化方法不直接计算真实梯度，而是利用函数值构造梯度估计值
。
这种分布式零阶方法也扩展到在线优化问题中，有研究者专利技术了一种使用零阶梯度方法的推
‑
和分布式在线优化方法，该方法可以在时变有向网络上实现预期的次线性遗憾
。
[0006]值得注意的是，在许多现实情况中，通信经常发生在不理想的环境中，这就会导致潜在的安全风险
。
尤其需要注意网络内的恶意节点，他们可能会捕获节点之间传输的信息，并利用该信息来推断参与信息传播的节点的隐私信息，从而使其面临隐私泄露的风险
。
鉴
于近年来隐私侵犯的增加，迫切需要保护去中心化网络中每个节点的隐私
。
差分隐私作为一种优秀的隐私保护方法，由于其易于实现
、
可验证的安全属性和严格的数学框架而引起了研究者们的极大的兴趣
。
但由于差分隐私策略通过在信息传输中添加噪声来增加扰动，所以在使用时，需要平衡好保护隐私和优化准确性之间的关系
。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种保护隐私的分布式零阶对偶平均在线优化方法及系统
。
在该方法中，通过使用零阶梯度而不是计算真正的次梯度信息来适应目标函数未知的情形
。
一方面，本方法通过构造行随机矩阵并利用辅助变量对零阶梯度进行重新标度，克服时变有向网络引起的不平衡性问题；另一方面，本方法通过采用差分隐私策略来保证正常参与节点的隐私
。
[0008]为达到上述目的，本专利技术提供如下技术方案：
[0009]一种保护隐私的分布式零阶对偶平均在线优化方法，该方法针对时变有向网络中具有共同约束集的分布式在线优化目标，通过使用零阶梯度而不是计算真正的次梯度信息来适应目标函数未知的情形；通过构造行随机矩阵并利用辅助变量对零阶梯度进行重新标度，克服时变有向网络引起的不平衡性问题；通过采用差分隐私策略来保护正常参与节点的隐私
。
[0010]进一步，在本方法中，所述时变有向网络包括：
[0011]对于整数
n
＞1，定义
V
＝
{1,2,3,
…
,n}
，有向网络
G
＝
{V,E}
由有序节点对的边集指定，每个节点
i
的外邻居集和内邻居集分别用和表示；
[0012]在网络随时间变化的情况下，使用下标
t
来表示时间；
G
t
表示网络，
E
t
表示网络
G
t
的边集，和分别表示节点
i
在时刻
t
的外邻居和内邻居的集合；相关矩阵如果满足
(j,i)∈E
t
的条件，那么否则假设在
t
时刻时，有向网络中的每个节点只能访问从其内邻居节点传输过来的信息，并且信息在通道中传输，通道环境良好，不会发生延迟
、
丢包和拥塞；在此基础上，每个节点利用每个时刻
t
通道中其内邻居传输的信息来相应地完成其迭代；
[0013]该通信网络还符合以下假设：当时刻
t≥1
时，存在一个整数
B≥1
，使得由边集构成的网络强连通；矩阵在时刻
t
是列随机的，即
[0014]进一步，在本方法中，考虑每个节点
i∈{1,2,3,...,n}
与一组局部凸损失函数相关，且其具体形式未知
。
所以，在本专利技术中，网络上各节点在
t∈{1,
…
,T}
时刻的目标是协同优化如下问题：
[0015][0016]其中是一个非空的闭凸集，...

【技术保护点】

【技术特征摘要】
1.
一种保护隐私的分布式零阶对偶平均在线优化方法，其特征在于：该方法针对时变有向网络中具有共同约束集的分布式在线优化目标，通过使用零阶梯度而不是计算真正的次梯度信息来适应目标函数未知的情形；通过构造行随机矩阵并利用辅助变量对零阶梯度进行重新标度，克服时变有向网络引起的不平衡性问题；通过采用差分隐私策略来保护正常参与节点的隐私
。2.
根据权利要求1所述的一种保护隐私的分布式零阶对偶平均在线优化方法，其特征在于：在本方法中，所述时变有向网络包括：对于整数
n
＞1，定义
V
＝
{1,2,3,
…
,n}
，有向网络
G
＝
{V,E}
由有序节点对的边集指定，每个节点
i
的外邻居集和内邻居集分别用和表示；在网络随时间变化的情况下，使用下标
t
来表示时间；
G
t
表示网络，
E
t
表示网络
G
t
的边集，和分别表示节点
i
在时刻
t
的外邻居和内邻居的集合；相关矩阵如果满足
(j,i)∈E
t
的条件，那么否则假设在
t
时刻时，有向网络中的每个节点只能访问从其内邻居节点传输过来的信息，并且信息在通道中传输，通道环境良好，不会发生延迟
、
丢包和拥塞；在此基础上，每个节点利用每个时刻
t
通道中其内邻居传输的信息来相应地完成其迭代；该通信网络还符合以下假设：当时刻
t≥1
时，存在一个整数
B≥1
，使得由边集构成的网络强连通；矩阵在时刻
t
是列随机的，即
3.
根据权利要求2所述的一种保护隐私的分布式零阶对偶平均在线优化方法，其特征在于：在本方法中，网络上各节点在
t∈{1,
…
,T}
时刻的目标是协同优化如下问题：其中是一个非空的闭凸集，
x∈
Ω
是一个全局决策向量；此外，在
t
时刻，每个节点
i
只能在决策向量决定后，才能访问
f
ti
的值，即每个节点
i
不能获取
f
ti
的显式形式，这种设置通常被称为在线和强盗反馈场景；在这里，任何节点都访问不了同时，该问题模型满足以下假设：
1)
存在两个常数
d,D>0(d<D)
，使得每个局部损失函数
f
ti
(x)
在
Ω
上是
K
‑
Lipschitz
连续的，即任意
a,b∈
Ω
...

【专利技术属性】
技术研发人员：吕庆国，张可可，廖晓峰，陈英珏，邓绍江，李华青，李艳涛，李冬，
申请(专利权)人：重庆大学，
类型：发明
国别省市：