一种深度神经网络对抗鲁棒性的可视化分析方法技术

本发明专利技术公开了一种深度神经网络对抗鲁棒性的可视分析方法，包括生成式低维潜空间构建；DNN鲁棒性预测：设计并训练了一个用来快速预测样本鲁棒性的全连接神经网络模型，其输入特征为样本在DNN模型倒数第二层的神经元分布的多维向量，输出为鲁棒性预测值的一维标量；对于一个给定样本，将其先输入被测试的DNN模型获得倒数第二层神经元分布，接着将倒数第二层神经元分布向量输入鲁棒性预测网络，得到模型对该样本的对抗鲁棒性；最后，设计并实现了一个可视化系统。其界面主要由两个视图即样本分布视图和鲁棒性分布视图构成。相较于传统的鲁棒性计算方法，本发明专利技术实现了快速和准确的鲁棒性预测，以及实现对生成样本和鲁棒性预测结果的实时渲染。果的实时渲染。果的实时渲染。

【技术实现步骤摘要】
一种深度神经网络对抗鲁棒性的可视化分析方法


[0001]本专利技术涉及可视化与可视分析领域，特别涉及对深度神经网络模型对抗鲁棒性的交互式可视分析方法。

技术介绍

[0002]近年来，以深度学习为代表的新一代人工智能技术正越来越广泛地应用于人类生产生活的各个方面，其中包括人脸识别、自动驾驶以及恶意软件检测等安全关键领域。例如，汽车自动驾驶系统使用深度神经网络(Deep Neural Network,DNN)进行路径规划和环境感知。尽管深度神经网络在这些复杂任务上展现了其强大的能力，但最近的研究指出即使是最先进的深度神经网络模型也可能会对一些细微的输入扰动表现出明显的脆弱性，这种脆弱性表现在对一个原本能被模型正确分类的样本中添加精心设计的、人眼很难察觉的微小噪声扰动后，模型又会以很高的置信度对该样本做出错误的预测。这种被精心设计以故意混淆和误导模型预测行为的样本被称为对抗样本。相对应地，学界通常把深度学习模型抵御对抗样本的干扰并给出正确预测的能力称为对抗鲁棒性。由于对抗样本具有很强的攻击隐蔽性和危害性，因而可能会严重威胁到自动驾驶等部署深度神经网络模型的安全关键领域。因此在深度神经网络模型投入实际应用之前，全面准确的模型鲁棒性评估变得十分关键。传统的鲁棒性计算方法时间开销较高，因此无法直接应用在涉及计算大量样本鲁棒性的交互式分析系统当中。
[0003]目前在实践中主要通过计算指标的方法来评估深度学习模型的对抗鲁棒性。主要评价指有两个，分别是对抗准确率和平均最小对抗扰动。指标数值越高，意味着模型的对抗鲁棒性越高。然而，基于指标的鲁棒性评估方法有两点局限性。
[0004]首先，这些指标仅返回一个统计量作为模型整体鲁棒性的反映，它们衡量的是模型在样本测试集上的平均性能，而无法揭示其在部分或单个样本层面上可能存在的潜在脆弱性，从而可能导致具有偏差的评估结果。为了更好地了解、诊断和提高深度学习模型的对抗鲁棒性，分析人员不仅需要知道模型在整个测试集上的全局表现，而且也需要了解模型在样本层面上的局部表现，例如了解模型在哪些样本上具有更高(或更低)的鲁棒性，以及表现出高(或低)鲁棒性的样本是否在语义特征上存在某些共同点等更加全面的信息。
[0005]其次，模型鲁棒性的评估指标往往是在现有的样本测试集上计算得到的。然而，这样的测试结果可能无法准确地反映模型在实际应用中的鲁棒性表现，因为现实世界中存在着大量的具有多样特征的样本，它们几乎不能被现有的单个测试集所覆盖。有关深度学习模型测试的研究指出，仅使用一个有限的固定测试集来测试模型的鲁棒性往往是不够充分的，因为如果测试集未能反映模型在一些可能的边界情况上的表现，那么就会导致模型在实际使用中出现令人意想不到的错误预测行为。因此为了在正式部署深度神经网络模型之前尽可能发现其中存在的潜在安全隐患，更理想的做法是在原测试集之外的更多新测试样本上测试模型鲁棒性以得到更加准确的评估结果。

技术实现思路

[0006]针对以上现有技术的局限性，本专利技术提出了一种深度神经网络对抗鲁棒性的可视分析方法，实现了在基于生成对抗网络(Generative Adversarial Network，GAN)的生成式低维潜空间中对深度神经网络模型的对抗鲁棒性的交互式可视化分析。
[0007]本专利技术利用以下技术方案实现：
[0008]一种深度神经网络对抗鲁棒性的可视分析方法，该方法包括以下步骤：
[0009]步骤一：将训练好的坐标映射网络与生成对抗网络模型进行组合，构建生成式低维潜空间；其中，坐标映射网络训练集的构成过程包括：利用坐标映射网络将二维坐标映射成为符合对抗生成网络模型输入维度要求的高维潜向量z
i
，再将高维潜向量输入对抗生成网络模型以生成测试样本，使用等距特征映射算法将所生成的样本降维处理至二维潜空间，表示为二维坐标(x
i
,y
i
)，将作为标签的高维潜向量z
i
与作为输入特征的二维坐标(x
i
,y
i
)进行组合，一批输入和标签数据对<(x
i
,y
i
),z
i
>构成坐标映射网络训练集，利用坐标映射网络训练集进行坐标映射网络模型的训练；
[0010]步骤二：构建基于神经网络的鲁棒性预测网络模型训练集，利用训练集训练鲁棒性预测网络模型，使用基于神经网络的鲁棒性预测网络模型对图像样本的鲁棒性进行预测；其中，所述鲁棒性预测网络模型训练集由一批训练数据对<Π(p
i
),r
i
>组成，其中p
i
为DNN模型训练集中第i个图像样本，Π(p
i
)为图像样本在DNN模型中倒数第二层的神经元输出分布，r
i
为图像样本通过对抗攻击算法计算得到的鲁棒性值；
[0011]步骤三：构建可视化鲁棒性分布实时渲染系统，进行图像样本的鲁棒性可视分析。
[0012]相较于传统的鲁棒性计算方法，本专利技术能够达成以下有益效果：
[0013]1)所设计的快速预测样本鲁棒性的神经网络模型能够显著提高样本鲁棒性的测量效率，从而帮助实现二维平面上大量生成样本的鲁棒性分布的实时渲染，实现快速的鲁棒性预测；
[0014]2)由于仅涉及神经网络模型的前向运算，因此本专利技术能够显著减少大批量样本的鲁棒性计算时间，从而满足交互式分析系统的实时响应要求；
[0015]3)评估结果能更加准确地反映模型在实际应用中的对抗鲁棒性
[0016]4)利用可视化方式使得鲁棒性预测结果方便地进行视图操作和显示。
附图说明
[0017]图1为本专利技术的一种深度神经网络对抗鲁棒性的可视分析方法整体流程图；
[0018]图2为坐标映射网络训练集生成过程示意图；
[0019]图3为生成式低维潜空间中新样本的生成过程示意图；
[0020]图4为鲁棒性预测网络模型训练集生成过程示意图；
[0021]图5为构建可视化鲁棒性分布实时渲染的过程示意图；
[0022]图6为可视化系统界面示意图。
具体实施方式
[0023]下面将结合附图和实施例，对技术方案进行清楚地描述。基于本专利技术中的实施例，本领域普通技术人员在不脱离本专利技术精神和没有做出创造性劳动情况下所获得的所有其
他实施例和实施例的技术替换，都将落入本专利技术保护的范围。
[0024]本专利技术包括构建生成式低维潜空间、DNN模型鲁棒性预测以及DNN模型对抗鲁棒性可视分析实现共3个步骤。实现了在二维平面上探索DNN模型的鲁棒性；
[0025]步骤一：将训练好的坐标映射网络与生成对抗网络(GAN)模型进行组合，构建生成式低维潜空间；其中，生成式低维潜空间是指能够通过任意潜向量映射生成高维数据样本的二维潜空间，在该潜空间中的每个二维坐标都映射到一个样本；
[0026]构建生成式低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度神经网络对抗鲁棒性的可视分析方法，其特征在于，该方法包括以下步骤：步骤一：将训练好的坐标映射网络与生成对抗网络模型进行组合，构建生成式低维潜空间；其中，坐标映射网络训练集的构成过程包括：利用坐标映射网络将二维坐标映射成为符合对抗生成网络模型输入维度要求的高维潜向量z
i
，再将高维潜向量输入对抗生成网络模型以生成测试样本，使用等距特征映射算法将所生成的样本降维处理至二维潜空间，表示为二维坐标(x
i
,y
i
)，将作为标签的高维潜向量z
i
与作为输入特征的二维坐标(x
i
,y
i
)进行组合，一批输入和标签数据对＜(x
i
,y
i
),z
i
＞构成坐标映射网络训练集，利用坐标映射网络训练集进行坐标映射网络模型的训练；步骤二：构建基于神经网络的鲁棒性预测网络模型训练集，利用训练集训练鲁棒性预测网络模型，使用基于神经网络的鲁棒性预测网络模型对图像样本的鲁棒性进行预测；其中，所述鲁棒性预测网络模型训练集由一批训练数据对＜П(p
i
),r
i
＞组成，其中p
i
为DNN模型训练集中第i个图像样本，Π(p
i
)为图像样本在DNN模型中倒数第二层的神经元输出分布，r
i
为图像样本通过对抗攻击算法计算得到的鲁棒性值；步骤三：构建可视化鲁棒性分布实时渲染，进行图像样本及其鲁棒性可视分析。2.如权利要求1所述的一种深度神经网络对抗鲁棒性的可视分析方法，其特征在于，所述坐...

【专利技术属性】
技术研发人员：李杰，艾力亚尔，
申请(专利权)人：天津大学，
类型：发明
国别省市：