一种面向深度强化学习模型对抗攻击的防御方法技术

本发明专利技术公开了一种面向深度强化学习模型对抗攻击的防御方法及应用，包括：利用视觉预测模型对输入的前一时刻环境状态进行预测输出预测当前环境状态，并获得预测当前环境状态在深度强化学习策略下的下一帧预测环境状态值；获取深度强化学习模型输出的实际当前环境状态，并获得实际当前环境状态在深度强化学习策略下添加扰动的环境状态值；利用判别模型对预测环境状态值和添加扰动的环境状态值进行判别，根据判别结果获得深度强化学习模型是否被攻击；在深度强化学习模型被攻击时，提取实际当前环境状态，利用两个防御模型对实际当前环境状态进行防御；深度强化学习模型利用防御后的实际当前环境状态进行学习预测输出。

A defense method for deep reinforcement learning model against attack

【技术实现步骤摘要】
一种面向深度强化学习模型对抗攻击的防御方法
本专利技术属于安全防御领域，具体涉及一种面向深度强化学习模型对抗攻击的防御方法。
技术介绍
随着人工智能技术的迅速发展，越来越多的领域都开始使用AI技术。自1956年“人工智能”概念的首度提出以来，AI的受关注度就越来越高。其研究领域包括知识表示、机器感知、机器思维、机器学习、机器行为，各种领域都取得了一定成就。比如2014年GoogleDeepMind开发的人工智能围棋软件——阿尔法围棋(AlphaGo)，就利用了深度学习和强化学习，并于2016年战胜世界顶级围棋选手之一李世石。强化学习也是一种多学科交叉的产物，它本身是一种决策科学，所以在许多学科分支中都可以找到它的身影。强化学习应用广泛，比如：直升机特技飞行、游戏AI、投资管理、发电站控制、让机器人模仿人类行走等。在游戏领域，为了提高用户体验，在很多场景下需要训练AI自动玩游戏，目前，游戏训练场景接受度最高的是深度强化学习(DeepReinforcementLearning)，一般情况下使用DQN来训练游戏AI自动玩游戏。DRL网络充分利用了卷积神经网络处理大数据的能力，将游戏画面作为输入，同时融合更多的游戏数据作为输入。然而神经网络极易受到对抗性攻击，专家学者们也提出了很多攻击方法和防御方法，但是，针对深度强化学习的防御方法并没有成型的专利提出。随着深度强化学习的应用越来越广泛，安全性必然成为其发展的重要隐患因素之一。强化学习就是学习如何根据一个环境环境状态去决定如何行动，使得最后的奖励最大。强化学习中两个最重要的特征就是试错(trial-and-error)和滞后奖励(delayedreward)。观察过程的环境状态容易被攻击者添加对抗扰动，攻击者也可直接攻击行动或奖励值以达到攻击目的。
技术实现思路
本专利技术的目的是提供一种面向深度强化学习模型对抗攻击的防御方法，该方法能够提高深度强化学习的决策网络的鲁棒性，能够防止在线学习和离线学习观测环境状态被恶意干扰，最终导致奖励值有较大偏差从而使Agent行为出错。为实现上述专利技术目的，本专利技术提供以下技术方案：一种面向深度强化学习模型对抗攻击的防御方法，所述防御方法包括以下步骤：利用基于生成式对抗网络构建的视觉预测模型对输入的前一时刻环境状态进行预测输出预测当前环境状态，并获得预测当前环境状态在深度强化学习策略下的下一帧预测环境状态值；获取深度强化学习模型输出的实际当前环境状态，并获得实际当前环境状态在深度强化学习策略下添加扰动的环境状态值；利用基于生成式对抗网络构建的判别模型对预测环境状态值和添加扰动的环境状态值进行判别，根据判别结果获得深度强化学习模型是否被攻击；在深度强化学习模型被攻击时，提取实际当前环境状态，利用基于SqueezeNet的第一防御模型对实际当前环境状态进行第一层防御，利用基于DenseNet的第二防御模型对第一层防御结果进行第二层防御，获得防御后的实际当前环境状态；深度强化学习模型利用防御后的实际当前环境状态进行学习预测输出。本专利技术的技术构思为：面向深度强化学习攻击的防御方法，首先在不同策略下以马尔科夫决策过程为基础框架，在交互式环境下通过收集环境观察状态s并让代理采取行动a同时根据环境s变化及时给出奖励值R,每次同时保存当前状态、行动、奖励值以及下一状态。通过大量观察数据训练深度强化学习模型，然后对输入状态添加扰动使代理行为出错，通常对抗扰动不易察觉，本专利技术提出基于GAN视觉预见模块来实时预测下一帧状态经策略输出结果，并通过检测器计算预测结果与实际策略网络输出值差距，由此判断该状态是否受到攻击。如果深度强化学习状态受到攻击则将观察状态通过本专利技术的防御网络模型进行防御，本专利技术方法的防御模型由SqueezeNet模型和卷积神经网络模型构成。优选地，所述视觉预测模型和判别模型的构建过程为：所述视觉预测模型包括递归编码单元、转换行为单元以及解码单元，其中，所述递归编码单元包括依次连接的至少2个卷积层、至少2个全连接层，用于对输入的环境状态进行特征提取，输出环境状态特征；所述转换行为单元包括LSTM和融合操作，用于提取输入行为的隐含特征，并对行为的隐含特征和环境状态特征进行融合输出融合特征；所述解码单元包括至少2个全连接层和至少2个反卷积层，用于对融合特征进行解码，输出下一时刻的预测环境状态；所述判别模型包括神经网络，其用于对所述视觉预测模型输出的预测环境状态与实际环境状态进行特征提取，基于提取的特征计算预测环境状态与实际环境状态的差距大小以判别实际环境状态是否含有扰动；利用训练样本对由所述视觉预测模型和所述判别模型组成的生成式对抗网络进行对抗训练，获得训练好的视觉预测模型和判别模型。优选地，所述训练样本的构建过程为：利用训练好DQN产生每一时刻的奖励值、行为以及下一环境状态，每个时刻的环境状态、行为、奖励值以及下一状态组成的四元组作为一个正常样本；对正常样本中的环境状态添加扰动后形成一个对抗样本，在对抗训练阶段，对抗样本作为实际环境状态对判别模型和视觉预测模型进行训练。优选地，判别模型计算预测环境状态值和添加扰动环境状态值的差距值，根据差距值与阈值的大小关系确定深度强化学习模型是否被攻击。与现有技术相比，本专利技术具有的有益效果为：1)使用基于GAN的视觉预测模型精确的预测下一状态，解决了在线学习过程不能提前获取观测状态数据的局限性问题，同时可提高对抗样本检测的效率，有利于进行及时的防御。2)本专利技术防御方法与深度强化学习的策略模型无关，可适用于深度强化学习中的任意策略网络。3)采用特征压缩有效过滤掉冗余干扰特征信息，保留了原状态的重要信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是本专利技术提供的面向深度强化学习模型对抗攻击的防御方法的总流程图。图2是本专利技术提供的面向深度强化学习模型对抗攻击的防御方法的深度强化学习原理图。图3是本专利技术提供的面向深度强化学习模型对抗攻击的防御方法的基于GAN的视觉预测模型原理图。图4是本专利技术提供的面向深度强化学习模型对抗攻击的防御方法的对抗样本检测原理框图。图5是本专利技术提供的面向深度强化学习模型对抗攻击的防御方法的防御模型原理框图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。如图1所示，实施例提供的面向深度强化学习模型对抗攻击的防御方法包括以下步骤：S101，利用基于生成式对抗网络构建的视觉预测模型对输入的前一时刻本文档来自技高网...

【技术保护点】
1.一种面向深度强化学习模型对抗攻击的防御方法，其特征在于，所述防御方法包括以下步骤：/n利用基于生成式对抗网络构建的视觉预测模型对输入的前一时刻环境状态进行预测输出预测当前环境状态，并获得预测当前环境状态在深度强化学习策略下的下一帧预测环境状态值；/n获取深度强化学习模型输出的实际当前环境状态，并获得实际当前环境状态在深度强化学习策略下添加扰动的环境状态值；/n利用基于生成式对抗网络构建的判别模型对预测环境状态值和添加扰动的环境状态值进行判别，根据判别结果获得深度强化学习模型是否被攻击；/n在深度强化学习模型被攻击时，提取实际当前环境状态，利用基于SqueezeNet的第一防御模型对实际当前环境状态进行第一层防御，利用基于DenseNet的第二防御模型对第一层防御结果进行第二层防御，获得防御后的实际当前环境状态；/n深度强化学习模型利用防御后的实际当前环境状态进行学习预测输出。/n

【技术特征摘要】
1.一种面向深度强化学习模型对抗攻击的防御方法，其特征在于，所述防御方法包括以下步骤：
利用基于生成式对抗网络构建的视觉预测模型对输入的前一时刻环境状态进行预测输出预测当前环境状态，并获得预测当前环境状态在深度强化学习策略下的下一帧预测环境状态值；
获取深度强化学习模型输出的实际当前环境状态，并获得实际当前环境状态在深度强化学习策略下添加扰动的环境状态值；
利用基于生成式对抗网络构建的判别模型对预测环境状态值和添加扰动的环境状态值进行判别，根据判别结果获得深度强化学习模型是否被攻击；
在深度强化学习模型被攻击时，提取实际当前环境状态，利用基于SqueezeNet的第一防御模型对实际当前环境状态进行第一层防御，利用基于DenseNet的第二防御模型对第一层防御结果进行第二层防御，获得防御后的实际当前环境状态；
深度强化学习模型利用防御后的实际当前环境状态进行学习预测输出。


2.如权利要求1所述的面向深度强化学习模型对抗攻击的防御方法，其特征在于，所述视觉预测模型和判别模型的构建过程为：
所述视觉预测模型包括递归编码单元、转换行为单元以及解码单元，其中，所述递归编码单元包括依次连接的至少2个卷积层、至少2个全连接层，用于对输入的环境状态进行特征提取，输出环境状态特征；
所述转换行为单元包括LSTM和融合操作，用于提取输入行为的隐含特征，并对行为的隐含特征和环境状态特征进行融合输出融合特征；
所述解码单元包括至少2个全连接层和至少2个反卷积层，用于对融合特征进行解码，输出下一时刻的预测环境状态；
所述判别模型包括神经网络，其用于对所述视觉预测模型输出的预测环境...

【专利技术属性】
技术研发人员：陈晋音，王雪柯，熊晖，郑海斌，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33