基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统制造方法及图纸

本发明专利技术公开了一种基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统，通过根据输入图像在深度学习模型中标签的类别预测值差异和添加的噪声最小化构建评价函数，利用该评价函数优化生成能覆盖深度学习模型边界和识别差距大的恶性图像，当能够得到恶性图像说明原始深度学习模型不安全，反之则安全，以此来实现对深度学习模型的安全性测试，该安全测试方法简单且准确；利用获得的测试图像对原始深度学习模型进行强化训练，以修复深度学习模型，来提高深度学习模型的识别结果准确率。确率。确率。

【技术实现步骤摘要】
基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统


[0001]本专利技术属于深度学习安全
，具体涉及一种基于遗传算法的深度学习模型安全漏洞测试和修复方法、装置和系统。

技术介绍

[0002]人工智能技术在计算机视觉和自然语言处理等领域取得突破，使人工智能迎来了新一轮的爆炸式发展。深度学习作为这些突破中的关键技术，已经逐渐成为人工智能领域的研究热点和主流发展方向。深度学习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向，给机器学习和计算机视觉等领域带来了革命性的进步。其中，基于卷积神经网络(Convolutional Neural Networks，CNN)的图像分类技术已经超过了人眼的精度，基于深度神经网络(Deep Neural Network,DNN)的语音识别技术已经达到了95％的精度，基于深度神经网络的机器翻译技术已经接近了人类的平均翻译水平。随着精度的迅速提高，计算机视觉和自然语言处理已经进入产业化阶段，并带动了新兴产业的兴起。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，包括以下步骤：(1)获取图像数据集和待测试深度学习模型，利用测试深度学习模型对图像进行测试以筛选能够正确识别的图像组成干净图像数据集；(2)从所述干净图像数据集中随机选择若干图像作为测试种子图像，并对测试种子图像添加初始扰动；(3)将添加扰动的图像输入至待测试深度学习模型获得预测标签，依据添加扰动最小化和预测标签与真实标签不同构建的适应度函数来选择图像作为父辈，并进行交叉产生子代图像，对子代图像添加扰动以进行变异；(4)重复执行步骤(3)，直到满足迭代终止条件，在满足迭代终止时，若能获得满足添加扰动最小化和预测标签与真实标签不同的添加扰动的图像时，即认为测试深度学习模型存在安全漏洞。2.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，所述适应度函数obj3为：obj3＝obj1+λ
·
obj2obj2＝f(x
′
)[c]≠c其中，obj1表示添加扰动最小化函数，x表示原图像，x
′
表示添加扰动图像，ε表示很小的扰动值以确保扰动最小化，表示二范数的平方，obj2表示预测标签与真实标签不同函数，f(x
′
)[c]表示图像x
′
输入深度学习模型中针对真实标签c的预测类标，λ表示超参数。3.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，每次迭代时，变异概率根据动量更新调整：其中，P
new
表示更新后的变异概率，表示p
old
表示原变异概率，currScore表示所在代图像根据适应度函数的评分，prevScore表示上一代图像根据适应度函数的评分，β和γ为超参数，给子代添加噪声；利用更新后的变异概率对子代图像进行变异。4.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，步骤(1)中，将图像输入至待测试深度学习模型中得到预测标签，若预测标签与真实标签一致，则认为图像能够被正确识别，用于组成干净图像数据集。5.根据权利要求1所述的基于遗传算法的深度学习模型安全漏洞测试方法，其特征在于，图像数据集为...

【专利技术属性】
技术研发人员：纪守领，林昶廷，董建锋，王睿，
申请(专利权)人：尚蝉浙江科技有限公司，
类型：发明
国别省市：