本发明专利技术公开了一种基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统，通过根据输入图像在深度学习模型中标签的类别预测值差异和添加的噪声最小化构建评价函数，利用该评价函数优化生成能覆盖深度学习模型边界和识别差距大的恶性图像，当能够得到恶性图像说明原始深度学习模型不安全，反之则安全，以此来实现对深度学习模型的安全性测试，该安全测试方法简单且准确；利用获得的测试图像对原始深度学习模型进行强化训练，以修复深度学习模型，来提高深度学习模型的识别结果准确率。确率。确率。
【技术实现步骤摘要】
基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统
[0001]本专利技术属于深度学习安全
，具体涉及一种基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统。
技术介绍
[0002]人工智能技术在计算机视觉和自然语言处理等领域取得突破，使人工智能迎来了新一轮的爆炸式发展。深度学习作为这些突破中的关键技术，已经逐渐成为人工智能领域的研究热点和主流发展方向。深度学习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，给机器学习和计算机视觉等领域带来了革命性的进步。其中，基于卷积神经网络(Convolutional Neural Networks，CNN)的图像分类技术已经超过了人眼的精度，基于深度神经网络(Deep Neural Network,DNN)的语音识别技术已经达到了95％的精度，基于深度神经网络的机器翻译技术已经接近了人类的平均翻译水平。随着精度的迅速提高，计算机视觉和自然语言处理已经进入产业化阶段，并带动了新兴产业的兴起。
[0003]DNN取得了很好的进展，这促进了DNN驱动的自动驾驶汽车的发展。它们通过传感器如摄像机、激光雷达等感知环境，就可以在无人辅助的情况下自动驾驶。主要的制造商包括通用、福特、特斯拉、宝马，和waymo谷歌正致力于建造和测试不同类型的自动驾驶汽车。
[0004]然而，尽管DNN取得了惊人的进展，就像传统的软件一样，却常常暴露出不正确或不符预期的极端情形行为，这些可能会导致潜在的致命碰撞。几起自动驾驶汽车涉事的真实世界的事故已经发生，其中一个还导致了死亡。深度学习模型已经应用于多个领域，包括图像识别、语音识别，同时自动驾驶及流氓软件的检测等问题上也已经开始使用。尤其是类似自动驾驶问题，对安全性要求极强，所以迫切需要对深度学习模型有效的测试方法，来验证深度学习模型是否可靠。
[0005]同时预先训练的DNN可能包含通过训练或通过转换内部神经元权重注入的后门成为木马模型。当提供常规输入时，这些木马模型正常工作，当输入被印上触发器的特殊模式时，对特定的输出标签进行错误分类。例如，一个基于DNN的面部识别系统，它被训练成每当一个非常特定的符号在人脸上或附近被检测到时，它将人脸识别为“比尔盖茨”，或者一种可以将任何交通标志变成绿灯的贴纸。后门可以在训练时插入到模型中，例如由公司的流氓员工负责培训模型，或在最初的模型培训之后插入后门，若完成得很好，这些后门对正常输入的分类结果的影响很小，使得它们几乎无法检测。但是对于受到后门攻击的模型的测试工作却较少，因此提出了针对深度学习模型安全漏洞的测试方法。
技术实现思路
[0006]鉴于上述，本专利技术的目的是提供一种基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统，以实现对深度学习模型的安全漏洞检测和修复。
[0007]为实现上述专利技术目的，本专利技术提供以下技术方案：
[0008]第一方面，一种基于遗传算法的深度学习模型安全漏洞测试方法，包括以下步骤：
[0009](1)获取图像数据集和待测试深度学习模型，利用测试深度学习模型对图像进行测试以筛选能够正确识别的图像组成干净图像数据集；
[0010](2)从所述干净图像数据集中随机选择若干图像作为测试种子图像，并对测试种子图像添加初始扰动；
[0011](3)将添加扰动的图像输入至待测试深度学习模型获得预测标签，依据添加扰动最小化和预测标签与真实标签不同构建的适应度函数来选择图像作为父辈，并进行交叉产生子代图像，对子代图像添加扰动以进行变异；
[0012](4)重复执行步骤(3)，直到满足迭代终止条件，在满足迭代终止时，若能获得满足添加扰动最小化和预测标签与真实标签不同的添加扰动的图像时，即认为测试深度学习模型存在安全漏洞。
[0013]优选地，所述适应度函数obj3为：
[0014]obj3＝obj1+λ
·
obj2[0015][0016]obj2＝f(x
′
)[c]≠c
[0017]其中，obj1表示添加扰动最小化函数，x表示原图像，x
′
表示添加扰动图像，ε表示很小的扰动值以确保扰动最小化，取值范围为(0，10]，表示二范数的平方，obj2表示预测标签与真实标签不同函数，f(x
′
)[c]表示图像x
′
输入深度学习模型中针对真实标签c的预测类标，λ表示超参数。
[0018]优选地，每次迭代时，变异概率根据动量更新调整：
[0019][0020]其中，P
new
表示更新后的变异概率，表示p
old
表示原变异概率，currScore表示所在代图像根据适应度函数的评分，prevScore表示上一代图像根据适应度函数的评分，β和γ为超参数，给子代添加噪声，取值范围(0,1]；
[0021]利用更新后的变异概率对子代图像进行变异。
[0022]优选地，步骤(1)中，将图像输入至待测试深度学习模型中得到预测标签，若预测标签与真实标签一致，则认为图像能够被正确识别，用于组成干净图像数据集。
[0023]优选地，图像数据集为MNIST数据集、Imagenet数据集或Driving数据集；所述待测试深度学习模型为自动驾驶模型或人脸识别模型。
[0024]第二方面，一种基于遗传算法的深度学习模型安全漏洞修复方法，包括以下步骤：
[0025](1)利用上述基于遗传算法的深度学习模型安全漏洞测试方法测试待测试深度学习模型存在安全漏洞，且获得添加扰动的图像作为测试图像；
[0026](2)利用测试图像对待测试深度学习模型进行优化训练，以实现对待测试深度学习模型的安全漏洞进行修复。
[0027]第三方面，一种基于遗传算法的深度学习模型安全漏洞测试装置，包括：
[0028]构建模块，用于获取图像数据集和待测试深度学习模型，利用测试深度学习模型对图像进行测试以筛选能够正确识别的图像组成干净图像数据集；
[0029]筛选模块，用于从所述干净图像数据集中随机选择若干图像作为测试种子图像，并对测试种子图像添加初始扰动；
[0030]检测模块，用于将添加扰动的图像输入至待测试深度学习模型获得预测标签，依据添加扰动最小化和预测标签与真实标签不同构建的适应度函数来选择图像作为父辈，并进行交叉产生子代图像，对子代图像添加扰动以进行变异，重复迭代选择、交叉以及变异过程，直到满足迭代终止条件，在满足迭代终止时，若能获得满足添加扰动最小化和预测标签与真实标签不同的添加扰动的图像时，即认为测试深度学习模型存在安全漏洞。
[0031]第四方面，一种基于遗传算法的深度学习模型安全漏洞修复装置，包括：
[0032]检测单元，用于上述基于遗传算法的深度学习模型安全漏洞测试装置测试待测试深度学习模型存在安全漏洞，且获得添加扰动的图像作为测试图像；...
【技术保护点】
【技术特征摘要】
1.一种基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，包括以下步骤：(1)获取图像数据集和待测试深度学习模型，利用测试深度学习模型对图像进行测试以筛选能够正确识别的图像组成干净图像数据集；(2)从所述干净图像数据集中随机选择若干图像作为测试种子图像，并对测试种子图像添加初始扰动；(3)将添加扰动的图像输入至待测试深度学习模型获得预测标签，依据添加扰动最小化和预测标签与真实标签不同构建的适应度函数来选择图像作为父辈，并进行交叉产生子代图像，对子代图像添加扰动以进行变异；(4)重复执行步骤(3)，直到满足迭代终止条件，在满足迭代终止时，若能获得满足添加扰动最小化和预测标签与真实标签不同的添加扰动的图像时，即认为测试深度学习模型存在安全漏洞。2.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，所述适应度函数obj3为：obj3＝obj1+λ
·
obj2obj2＝f(x
′
)[c]≠c其中，obj1表示添加扰动最小化函数，x表示原图像，x
′
表示添加扰动图像，ε表示很小的扰动值以确保扰动最小化，表示二范数的平方，obj2表示预测标签与真实标签不同函数，f(x
′
)[c]表示图像x
′
输入深度学习模型中针对真实标签c的预测类标，λ表示超参数。3.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，每次迭代时，变异概率根据动量更新调整：其中，P
new
表示更新后的变异概率，表示p
old
表示原变异概率，currScore表示所在代图像根据适应度函数的评分，prevScore表示上一代图像根据适应度函数的评分，β和γ为超参数，给子代添加噪声；利用更新后的变异概率对子代图像进行变异。4.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，步骤(1)中，将图像输入至待测试深度学习模型中得到预测标签，若预测标签与真实标签一致，则认为图像能够被正确识别，用于组成干净图像数据集。5.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，图像数据集为...
【专利技术属性】
技术研发人员：纪守领，林昶廷，董建锋，王睿，
申请(专利权)人：尚蝉浙江科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。