【技术实现步骤摘要】
本专利技术属于智能优化，涉及一种基于动态步长的变长染色体进化方法。
技术介绍
1、对抗性机器学习(adversarialmachinelearning)是指通过引入精心生成的输入数据来故意欺骗机器学习的模型。这些攻击利用模型决策过程中的漏洞导致机器学习的模型产生错误的分类或错误的输出。机器学习中迄今为止最重要的模型：深度神经网络，在许多任务中表现出色。但研究发现，深度神经网络模型容易受到生成的攻击的影响。因此，人工智能的安全性备受关注。研究人员进行了多项实验，他们在计算机视觉(computervision,cv)中发现，尽管某些生成的样本肉眼看起来与原始样本几乎相同，但训练有素的神经网络却可能出现预测失误，例如将“寺庙”误判为“鸵鸟”，也就是产生了错误的分类。类似情况也存在于深度强化学习(deep reinforcement learning,drl)领域，例如，对于训练有素的智能体来说，只是对其观测进行少量的修改，就足以令其改变原先的动作选择，也就是产生了错误的输出。
2、具体到深度强化学习领域，对抗性攻击是指在智能体的输入上施加肉眼难以察觉的非随机噪声，从而改变其预测结果。对于输入是图片的深度强化学习智能体来说，噪声的表现形式就是对图片的像素进行改变。打个比方，这种攻击的对象是智能体的“大脑”，目的是让智能体晕头转向，做出错误的决策。而智能体的大脑，就是它训练完备的深度神经网络。因此，这种对抗性攻击也就是对深度神经网络的攻击。前文提到，对抗性机器学习是研究对机器学习算法生成攻击，以及对这种攻击的防御。类似的，如何
3、这类问题是典型的优化问题。训练好的深度神经网络每收到某一输入，就会产生对应的动作概率分布，然后选择概率最大的动作。对抗性攻击的目的是通过在它接受的输入上施加微小的，肉眼难以察觉的噪声来误导智能体进行错误的判断。进化算法(evolutionary algorithm,ea)已成为解决多领域复杂问题的流行工具，并被成功应用于攻击生成问题。因为深度神经网络的输入是一帧帧图片，所以攻击的具体方式是通过修改图片中某些像素的像素值来实现。算法具体步骤为：初始化生成首代种群，种群中的每个个体都编码了一组由修改后像素所构成的攻击内容。接下来对该种群应用进化算子：交叉和变异，令该种群生成下一代种群，同样的，下一代种群中每个个体也都编码了优化后的一组由修改后像素所构成的攻击内容。然后进行评估，剔除表现较差的个体(未能进行成功攻击)。若干次循环后，就生成了想要的解(可以进行成功攻击)。因为修改像素的个数也是优化的目标，所以个体的编码长度(染色体长度)也需要变化。与传统的优化方法相比，进化算法较为灵活、适应性强，适用于解决现实世界中的复杂问题。但是，现有的变长染色体方法的染色体长度变化方式存在不足，例如：
4、(1)收敛速度较慢：每次长度变化均为1，让此类方法在探索较大搜索空间时显得十分缓慢。
5、(2)容易陷入局部最优：因其变化的步长较短且固定，所以很容易陷入某个局部的最优值而无法找到全局的最优值。
技术实现思路
1、针对当前方法在解决此类问题上表现出的不足，本专利技术提出了一种变长染色体进化方法，用于解决深度神经网络的对抗攻击问题，具体改进如下：
2、针对原算法收敛速度较慢的情况，本专利技术将前数代种群的染色体变化步长增大，具体代数与步长将在技术方案中阐述。针对原算法容易陷入局部最优的问题，本专利技术在其后的代数中采取动态步长，以此解决原算法在探索与开发的不平衡。
3、在此基础上，本专利技术大致分为两个阶段：
4、(1)在前面的若干代种群中，采取较大步长来改变染色体长度。
5、(2)在后面的剩余代种群中，采取动态步长来改变染色体长度。
6、为了达成上述目的，本专利技术采用的技术方案如下：
7、一种基于动态步长的变长染色体进化方法，具体步骤如下：
8、步骤1、设定问题模型，确定任务目标和适应度函数
9、1.1)在一个标准的深度强化学习场景中，在时间步t时，智能体根据观察到的环境状态st生成动作概率分布并采取行动at，并从环境中获得奖励rt。深度神经网络攻击是指对智能体观测到的环境状态st添加一定的噪声δt，使智能体做出错误的动作。噪声δt由两部分组成，一是攻击的像素个数，二是像素改变的幅度，也就是每个像素更改的值大小；对于解决该问题的方法来说，攻击的像素越少越好，改变像素的幅度越低越好，也就是说，需要产生不显眼的噪声。噪声最后需要添加在目标图片上，具体来说，目标图片是84乘以84大小的像素灰度矩阵，灰度范围是0到255。
10、1.2)由此可以得出深度神经网络攻击的目标为最大化攻击前后智能体动作概率的差值，具体表述如下：
11、
12、其中，δt表示在时间步长t处对原始状态st添加的扰动，同时也是当前任务的解决方案。在这种情况下，o和e分别表示经过训练的智能体在攻击之前和之后采取的行动。π(·|st)e表示智能体的动作概率分布为π(·|st)时选择动作e的概率。π(·|st)代表当智能体观测到状态st时，会产生所有候选动作的概率分布，可以描述如下：
13、
14、其中，表示智能体选择动作的概率，由智能体根据环境状态st得出且所有候选动作的概率之和为1。
15、值得注意的是，当公式(1)中的函数值f大于0时，攻击成功，说明智能体被欺骗，采取了不同的动作。接下来本方法将围绕优化公式(1)展开。
16、步骤2、确定编码方式
17、由于本专利技术的目的是为了产生尽可能不显眼的噪声，即攻击像素个数越少越好，改变像素的幅度越低越好，因此，编码方式为：在染色体的连续三个点位上记录攻击像素的x坐标、y坐标和攻击幅度。其中，x坐标指的是攻击像素相对于最下方像素的位置，最下方像素坐标为1。y坐标指的是攻击像素相对于最左方像素的位置，最左方像素坐标为1。攻击幅度指的是对于该像素，改变的灰度值大小。灰度值变小为负，灰度值变大为正。原始编码采取连续编码，生成0到1上的小数，通过缩放和四舍五入，映射到需要的范围中。例如，染色体点位1上生成了0.12452的小数，那么通过缩放0.12452乘以84可以得到10.45968，四舍五入是10，点位2类似，假设最后得到了28。点位3上生成了0.56124，通过缩放0.56124乘以510得到286.2324，再减去255得到31.2324，四舍五入最后得到31。这三个点位合起来的最后意思就是在x坐标为10、y坐标为28的像素位置上增加31的灰度，比如原像素的灰度值是23，则添加噪声后灰度值就变为54。
18、步骤3、初始化种群
19、首先需要确定当前染色体长度l(length)和最大染色体长度ml(max length)，二者均可以采用图片的最大像素个数乘以3。这里，乘以3是因为步骤2中的编码方式，三个点位才对应1个像本文档来自技高网...
【技术保护点】
1.一种基于动态步长的变长染色体进化方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于动态步长的变长染色体进化方法，其特征在于，所述步骤4的具体步骤如下：
3.根据权利要求1或2所述的一种基于动态步长的变长染色体进化方法，其特征在于，所述步骤4.3)中，通过交叉变异的方式产生新候选解的过程如下：
4.根据权利要求1或2所述的一种基于动态步长的变长染色体进化方法，其特征在于，步骤1.2)中，所述π(·|st)描述如下：
5.根据权利要求3所述的一种基于动态步长的变长染色体进化方法，其特征在于，步骤1.2)中，所述π(·|st)描述如下：
6.根据权利要求1、2或5所述的一种基于动态步长的变长染色体进化方法，其特征在于，所述步骤3中，最大染色体长度ml设置为10～100；当前染色体长度l设置为8～80。
7.根据权利要求3所述的一种基于动态步长的变长染色体进化方法，其特征在于，所述步骤3中，最大染色体长度ml设置为10～100；当前染色体长度l设置为8～80。
8.根据权利要求4
9.根据权利要求1、2、5、7或8所述的一种基于动态步长的变长染色体进化方法，其特征在于，步骤1.1)中所述的目标图片是84乘以84大小的像素灰度矩阵，灰度范围是0到255。
...【技术特征摘要】
1.一种基于动态步长的变长染色体进化方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于动态步长的变长染色体进化方法，其特征在于，所述步骤4的具体步骤如下：
3.根据权利要求1或2所述的一种基于动态步长的变长染色体进化方法，其特征在于，所述步骤4.3)中，通过交叉变异的方式产生新候选解的过程如下：
4.根据权利要求1或2所述的一种基于动态步长的变长染色体进化方法，其特征在于，步骤1.2)中，所述π(·|st)描述如下：
5.根据权利要求3所述的一种基于动态步长的变长染色体进化方法，其特征在于，步骤1.2)中，所述π(·|st)描述如下：
6.根据权利要求1、2或5所述的一种基...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。