基于模糊测试的对抗样本生成方法、系统、终端及介质技术方案

本发明专利技术公开了基于模糊测试的对抗样本生成方法、系统、终端及介质，涉及人工智能、网络空间安全技术领域。在黑盒模型场景下，自动生成对抗样本；对生成样本的对抗性通过深度神经网络的输出结果进行评价；基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变，提升整个突变过程的可解释性以及使突变过程具有可重复性；在白盒模型场景下对生成的对抗样本于模型中的激活覆盖率数值进行分析，计算突变方向以生成对抗性更强的对抗样本，同时对模型进行进一步优化。本发明专利技术在机器学习和深度学习领域的攻防上占据优势，甚至在更早的训练模型阶段提前规避潜在的威胁和攻击。攻击。攻击。

【技术实现步骤摘要】
基于模糊测试的对抗样本生成方法、系统、终端及介质


[0001]本专利技术属于人工智能、网络空间安全
，尤其涉及一种基于模糊测试的对抗样本生成方法、系统、终端及介质。

技术介绍

[0002]目前，深度学习已经在广泛应用于图像识别和分类的问题中，成为人工智能应用的关键所在。但深度学习的可解释性差，导致在人工智能系统应用中其鲁棒性和系统安全性难以得到保障。“对抗样本”这一概念的提出给深度学习领域的攻防提供了新的要求，也让系统安全性的优化有了新的思路。而如何高效生成对抗样本成为了制约模型鲁棒性和安全性优化的新瓶颈。
[0003]随着深度神经网络技术的飞速发展，硬件算力的显著提升以及各领域大数据的普及。深度学习已经在人脸识别、医疗影像、自动驾驶等安全攸关的领域取得了极大的成就，而在这些技术带来巨大便利的同时，深度神经网络相关的安全问题也不得不引起重视。
[0004]对抗样本是一种对输入样本添加一些扰动生成的样本，而系统模型会对对抗样本产生误判，即以高置信度来预测一个错误结果。对抗样本的存在对深度神经网络带来了很大的安全隐患，故而生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模糊测试的对抗样本生成方法，其特征在于，所述基于模糊测试的对抗样本生成方法包括：基于黑盒模型生成对抗样本，对生成样本的对抗性通过深度神经网络的输出结果进行评价，所述黑盒模型为对被测试模型的参数和神经网络架构完全未知；基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变，提升整个突变过程的可解释性以及使突变过程具有可重复性；在白盒模型下对生成的对抗样本于该模型中的激活覆盖率数值进行分析，计算突变方向以生成对抗性更强的对抗样本，同时对模型进行进一步优化。2.根据权利要求1所述的基于模糊测试的对抗样本生成方法，其特征在于，所述基于模糊测试的对抗样本生成方法具体包括以下步骤：(1)输入一个输入空间的生成种子池，生成种子池随机生成正常输入样本集X
input
,放入正常输入池中；(2)从正常输入池X
input
中选出一个输入样本x
input
；(3)对该输入样本x
input
进行以函数M(x)为映射的变异生成变异样本x
′
input
＝M(x
input
)；(4)将输入样本x
input
和变异输入样本x
′
input
都通过目标神经网络H(x)运行，得到正常输入样本的输出y
output
＝H(x
input
)和变异输出样本的输出y
′
output
＝H(x
′
input
)；(5)比对正常输入样本得到的输出和变异输入样本得到的输出，若有明显差异,即|y
output
‑
y
′
output
|>δ,则将该变异样本x
′
input
加入对抗样本池。3.根据权利要求2所述的基于模糊测试的对抗样本生成方法，其特征在于，所述步骤(3)中，对输入样本的变异根据不同类型的样本约束有不同的变换方法，包括：对于图像类的样本变异，对于文本类的样本的变异。4.根据权利要求3所述的基于模糊测试的对抗样本生成方法，其特征在于，所述对于图像类的样本变异包括：1)灰度和对比度上的变异：通过对每一个像素的当...

【专利技术属性】
技术研发人员：李志鹏，石岩，廖勇，石珺，杨阳朝，易勇，
申请(专利权)人：深圳市网联安瑞网络科技有限公司，
类型：发明
国别省市：