一种基于聚合规则的动态约束自适应方法技术

在分布式高维Byzantine环境下，提出了一种动态约束的自适应优化方法结合聚合规则Saddle(·)的算法，能最大弹性限度地抵御蓄意攻击问题并有效求解优化问题。基于梯度更新规则，首先提出了一种新的Byzantine攻击方式——鞍点攻击。并分析了当目标函数陷入鞍点时，相比较于自适应和非自适应方法，所提出的动态约束自适应方法能够更快逃离鞍点。其次，构造了一种过滤Byzantine个体的聚合规则Saddle(·)，在分布式高维Byzantine环境下，采用动态约束的自适应优化方法结合聚合规则Saddle(·)能够有效抵御鞍点攻击。最后实验验证比较并分析了动态约束自适应与自适应和非自适应方法的优劣性。结果表明，结合聚合规则Saddle(·)的动态约束自适应在分布式高维Byzantine环境下受鞍点攻击的影响较小。

A dynamic constraint adaptive method based on aggregation rules

【技术实现步骤摘要】
一种基于聚合规则的动态约束自适应方法
本专利技术涉及一种基于聚合规则的动态约束自适应方法，属于机器学习领域。
技术介绍
随着传感器和智能设备技术的快速发展以及在实际中的广泛运用，使得协同收集来自多个信息源的大量数据成为现实。面对具有空间分布的海量数据的处理，作为能够从中提取有价值信息的主要有效工具，机器学习在计算机视觉，医疗保健和金融市场分析等广泛领域的应用取得了巨大成功。其中分布式随机梯度下降算法作为最常用的机器学习方法之一，它在每步迭代中只随机训练一个样本数据，大大减少了训练时间。但其容易受到Byzantine攻击的影响。由于系统故障、软件bug、数据损坏和通信延迟等原因造成的个体或机器之间共享信息错误，统称为Byzantine攻击。所以，在Byzantine环境下研究分布式机器学习如何高效处理共享信息的数据是极为重要的。基于梯度的优化算法会因为鞍点处的梯度值为零而易陷入非最优的情形，尤其在高维情况下，包围鞍点的水平或平坦区域范围较大，这导致分布式随机梯度下降算法很难快速逃离该区域，因而长时间陷于鞍点附近。提出用自适应方法代替传统的随机梯度下降算法来有效解决陷入鞍点而无法达到最优值的困境。通过调整随机梯度噪声的方向，使得噪声能在鞍点处是等方向的，有助于朝正确的方向快速逃离鞍点。但自适应方法则面临两大问题：(1)与随机梯度下降算法相比泛化能力差(2)由于不稳定或者极端的学习率会导致算法不收敛。为了解决在分布式高维Byzantine环境下，能最大弹性限度抵御攻击问题从而高效求解优化问题。在分布式高维Byzantine环境下，提出了一种动态约束的自适应优化方法结合聚合规则Saddle(·)能够有效避免鞍点攻击。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于聚合规则的动态约束自适应方法，旨在解决在分布式高维Byzantine环境下，能最大弹性限度抵御攻击的优化问题。为解决以上技术问题，本专利技术采用如下的技术方案：首先提出了一种新的Byzantine攻击方式——鞍点攻击，分析当目标函数陷入鞍点时，相比较于自适应和非自适应方法，所提出的动态约束自适应方法是否能够更快逃离鞍点。其次，构造一种过滤Byzantine个体的聚合规则Saddle(·)，在分布式高维Byzantine环境下，采用动态约束的自适应优化方法结合聚合规则Saddle(·)是否能够有效抵御鞍点攻击。最后，实验验证比较并分析动态约束自适应与自适应和非自适应方法的优劣性。附图说明图1是本专利技术的方法用于逃离鞍点的五种优化方法的比较。图2是本专利技术的方法动态自适应方法的动态学习率的收敛图。具体实施方式自适应方法易受极端学习率影响。为有效克服这一困难，ADABOUND算法的思想是：通过给梯度加一个阈值区间，并且上下阈值都随时间变化最后收敛到SGD的学习率，从而实现自适应方法向SGD的平缓过渡。构造聚合规则Saddle(·)为s＝Saddle({gi:i∈[m]})对任意维j，sj∈maxm-q[(gi)j+p]表示给每个梯度值增加噪声扰动p，然后选择最大的m-q个作为非Byzantine梯度集。因为鞍点性质本身具有不稳定性，当给一个处在鞍点位置的点施加一些轻微的扰动，在一定次数的之后，该点可能会从鞍点处滑落，从而实现逃离鞍点找到严格鞍函数的目的。具体步骤为：Step1：揭示损失函数ft(xt)Step3：计算损失函数的梯度、梯度的移动平均及梯度平方的移动平均Step4：设定学习率的动态阈值：Step5：优化迭代规则：xt+1＝xt-ηt·mt其中，β1t和β2分别对应mt和vt的指数加权平均中的权重系数，gt为目标函数ft(xt)的梯度函数，ηmin(t),ηmax(t))函数表示根据随机梯度算法中学习步长α为固定值，ηmin(t)＝ηmax(t)＝α；对于自适应算法，因为学习率就等于本身，所以阈值ηmin(t)＝0，ηmax(t)＝∞。但在动态约束自适应算法中，令ηmin(t)和ηmax(t)分别是随着时间逐渐增大和逐渐减小的，ηmin(t)是随着t的变化，从0渐进收敛到α的非减函数；ηmax(t)是随着t的变化，从∞渐进收敛到α的非增函数。动态约束自适应方法在开始一段时间和自适应一样阈值约束对学习率影响很小，逐渐转换成随机梯度下降算法的阈值约束对学习率越来越严格，直至等于一个固定值。以下结合附图对本专利技术作进一步的说明。图1是本专利技术的方法用于逃离鞍点的五种优化方法的比较。动态约束自适应方法相比较于其他自适应方法和非自适应方法(随机梯度下降算法)逃离鞍点的速度明显比较快。图2是动态自适应方法的动态学习率的收敛图。表示动态约束自适应的上下阈值随时间变化，最后都收敛到与SGD学习率一致，实现了自适应到非自适应的平缓过渡。本文档来自技高网...

【技术保护点】
1.一种基于聚合规则的动态约束自适应方法，优化的目标函数的要求条件是：函数的Hessian矩阵是不定的，所以该函数存在鞍点。通过不断对解进行梯度更新，最终找到目标函数的最优值。/n

【技术特征摘要】
1.一种基于聚合规则的动态约束自适应方法，优化的目标函数的要求条件是：函数的Hessian矩阵是不定的，所以该函数存在鞍点。通过不断对解进行梯度更新，最终找到目标函数的最优值。


2.一种基于聚合规则的动态约束自适应方法，分布式网络的环境的要求条件是：拜占庭智能体的个数f与智能体总个数n满足：n≥3f+1。其特征是：存在Byzantine攻击的情况下，算法仍能正常执...

【专利技术属性】
技术研发人员：李德权，许月，申修宇，方润月，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：安徽;34