一种深度神经网络对抗鲁棒性的可视化分析方法技术

本发明专利技术公开了一种深度神经网络对抗鲁棒性的可视分析方法，包括生成式低维潜空间构建；DNN鲁棒性预测：设计并训练了一个用来快速预测样本鲁棒性的全连接神经网络模型，其输入特征为样本在DNN模型倒数第二层的神经元分布的多维向量，输出为鲁棒性预测值的一维标量；对于一个给定样本，将其先输入被测试的DNN模型获得倒数第二层神经元分布，接着将倒数第二层神经元分布向量输入鲁棒性预测网络，得到模型对该样本的对抗鲁棒性；最后，设计并实现了一个可视化系统。其界面主要由两个视图即样本分布视图和鲁棒性分布视图构成。相较于传统的鲁棒性计算方法，本发明专利技术实现了快速和准确的鲁棒性预测，以及实现对生成样本和鲁棒性预测结果的实时渲染。果的实时渲染。果的实时渲染。

【技术实现步骤摘要】
一种深度神经网络对抗鲁棒性的可视化分析方法


[0001]本专利技术涉及可视化与可视分析领域，特别涉及对深度神经网络模型对抗鲁棒性的交互式可视分析方法。

技术介绍

[0002]近年来，以深度学习为代表的新一代人工智能技术正越来越广泛地应用于人类生产生活的各个方面，其中包括人脸识别、自动驾驶以及恶意软件检测等安全关键领域。例如，汽车自动驾驶系统使用深度神经网络(Deep Neural Network,DNN)进行路径规划和环境感知。尽管深度神经网络在这些复杂任务上展现了其强大的能力，但最近的研究指出即使是最先进的深度神经网络模型也可能会对一些细微的输入扰动表现出明显的脆弱性，这种脆弱性表现在对一个原本能被模型正确分类的样本中添加精心设计的、人眼很难察觉的微小噪声扰动后，模型又会以很高的置信度对该样本做出错误的预测。这种被精心设计以故意混淆和误导模型预测行为的样本被称为对抗样本。相对应地，学界通常把深度学习模型抵御对抗样本的干扰并给出正确预测的能力称为对抗鲁棒性。由于对抗样本具有很强的攻击隐蔽性和危害性，因而可能会严重威胁到自动驾驶等部署深度神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度神经网络对抗鲁棒性的可视分析方法，其特征在于，该方法包括以下步骤：步骤一：将训练好的坐标映射网络与生成对抗网络模型进行组合，构建生成式低维潜空间；其中，坐标映射网络训练集的构成过程包括：利用坐标映射网络将二维坐标映射成为符合对抗生成网络模型输入维度要求的高维潜向量z
i
，再将高维潜向量输入对抗生成网络模型以生成测试样本，使用等距特征映射算法将所生成的样本降维处理至二维潜空间，表示为二维坐标(x
i
,y
i
)，将作为标签的高维潜向量z
i
与作为输入特征的二维坐标(x
i
,y
i
)进行组合，一批输入和标签数据对＜(x
i
,y
i
),z
i
＞构成坐标映射网络训练集，利用坐标映射网络训练集进行坐标映射网络模型的训练；步骤二：构建基于神经网络的鲁棒性预测网络模型训练集，利用训练集训练鲁棒性预测网络模型，使用基于神经网络的鲁棒性预测网络模型对图像样本的鲁棒性进行预测；其中，所述鲁棒性预测网络模型训练集由一批训练数据对＜П(p
i
),r
i
＞组成，其中p
i
为DNN模型训练集中第i个图像样本，Π(p
i
)为图像样本在DNN模型中倒数第二层的神经元输出分布，r
i
为图像样本通过对抗攻击算法计算得到的鲁棒性值；步骤三：构建可视化鲁棒性分布实时渲染，进行图像样本及其鲁棒性可视分析。2.如权利要求1所述的一种深度神经网络对抗鲁棒性的可视分析方法，其特征在于，所述坐...

【专利技术属性】
技术研发人员：李杰，艾力亚尔，
申请(专利权)人：天津大学，
类型：发明
国别省市：