一种用于测试人工智能模型鲁棒性的方法和系统技术方案

本发明专利技术属于人工智能模型鲁棒性判定技术领域，并公开了一种在不知人工智能模型以及训练数据集情况下能有效地对未知模型进行攻击方法，包括以下步骤：原始数据集的浅层共享特征的捕获，并根据输入条件生成相应的目标样本。待测试人工智能模型用于预测目标样本的输出，该输出和正式的标签进行比对得到相应损失。同时生成的目标样本用于训练替代模型，并得到相应的输出，比较同一个样本在两个不同模型情况下的输出，得到比对损失，用于确保替代模型很好的学习待测试人工智能模型的全部功能。之后用一些成熟的攻击算法去攻击替代模型得到相应的对抗样本，并将这些对抗样本用于攻击未知的人工智能模型，进而判定人工智能模型的鲁棒性。

【技术实现步骤摘要】
一种用于测试人工智能模型鲁棒性的方法和系统
本专利技术属于人工智能和机器学习
，更具体地，涉及一种用于测试人工智能模型鲁棒性的方法和系统。
技术介绍
人工智能模型广泛应用到本专利技术日常生活中，例如，人脸识别、语音识别、目标跟踪、图像分割等等。虽然深度神经网络取得巨大的成功，但是当前研究已经证明它们易受到攻击，导致最终系统预测出错，造成严重后果。因此如何评价和提升人工智能模型的鲁棒性具有重要意义。目前对人工智能模型鲁棒性的测试方案包括基于白盒系统和基于黑盒系统的两种实现方式，即攻击白盒或者黑盒系统，统计攻击成功率，从而判定系统的鲁棒性。对于白盒模型而言，测试者对目标模型了如指掌，进而对输入样本注入噪音或者模型本身发动攻击，通过输出结果来判别模型鲁棒性；而在黑盒应用场景中，测试者要么需要构建黑盒攻击算法，然后利用该算法去攻击黑盒系统，进而测试黑盒系统的鲁棒性；要么构建与黑盒模型接近的替代模型，进而调用现有成熟的基于白盒系统的测试方案得到最终的测试结果。然而，现有基于黑盒实现网络模型鲁棒性测试的方法仍然存在一些不可忽略的缺陷：本文档来自技高网...

【技术保护点】
1.一种用于测试人工智能模型鲁棒性的方法，其特征在于，包括以下步骤：/n(1)获取随机生成的输入数据，其大小为1*100维；/n(2)将步骤(1)获取的输入数据输入上卷积网络模型中，以得到中间特征；/n(3)将步骤(2)得到的中间特征输入N路子网络中，以得到N个输出结果；其中N的取值范围是100到1000；/n(4)基于步骤(3)得到的N个输出结果，并使用白盒攻击算法攻击训练好的替代模型，以生成多个对抗样本；/n(5)使用步骤(4)得到的多个对抗样本对待测试人工智能模型进行鲁棒性测试，以得到最终的测试结果。/n

【技术特征摘要】
1.一种用于测试人工智能模型鲁棒性的方法，其特征在于，包括以下步骤：
(1)获取随机生成的输入数据，其大小为1*100维；
(2)将步骤(1)获取的输入数据输入上卷积网络模型中，以得到中间特征；
(3)将步骤(2)得到的中间特征输入N路子网络中，以得到N个输出结果；其中N的取值范围是100到1000；
(4)基于步骤(3)得到的N个输出结果，并使用白盒攻击算法攻击训练好的替代模型，以生成多个对抗样本；
(5)使用步骤(4)得到的多个对抗样本对待测试人工智能模型进行鲁棒性测试，以得到最终的测试结果。


2.根据权利要求1所述的用于测试人工智能模型鲁棒性的方法，其特征在于，步骤(2)中的上卷积网络模型结构如下：
第一层是上卷积模块层，由上采样层、卷积层、激活函数按顺序前后串联形成。其中，上采样步长为1，输出大小1*10*10，卷积核尺寸为1*1，卷积步长为3，激活函数采用ReLU，输出大小为4*4*1024；
第二层是上卷积模块层，由上采样层、卷积层、激活函数按顺序前后串联形成。其中，上采样步长为6，输出大小24*24*1024，卷积核大小为3*3，步长为6，激活函数采用ReLU，输出大小为8*8*512；
第三层是上卷积模块层，由上采样层、卷积层、激活函数按顺序前后串联形成。其中，上采样步长为6，输出大小48*48*512，卷积核大小为3*3，步长为3，激活函数采用ReLU，输出大小为16*16*256；
第四层是上卷积模块层，由上采样层、卷积层、激活函数按顺序前后串联形成。其中，上采样步长为6，输出大小96*96*256，卷积核大小为3*3，步长为3，激活函数采用ReLU，输出大小为32*32*128；
第五层是上卷积模块层，由上采样层、卷积层、激活函数按顺序前后串联形成。其中，上采样步长为4，输出大小128*128*128，卷积核大小为2*2，步长为2，激活函数采用ReLU，输出大小为64*64*64；
第六层是上卷积模块层，由上采样层、卷积层、激活函数按顺序前后串联形成。其中，上采样步长为4，输出大小256*256*64，卷积核大小为1*1，步长为1，激活函数采用ReLU，输出大小为256*256*3。


3.根据权利要求1所述的用于测试人工智能模型鲁棒性的方法，其特征在于，步骤(3)中的所有N路子网络具有完全相同的结构，每个子网络都包括三层，其中：
第一层是卷积模块层，其是由卷积层、池化层、正则化操作以及激活函数组成，且每个输入标签大小为1*256*256，将上卷积网络模型的第六层输出特征图和输入标签按照通道方向连接起来，即连接后特征图大小为4*256*256，其中，卷积核大小为2*2，步长为2，输出大小为128*128*96，激活函数采用ReLU。
第二层是卷积模块层，其是由卷积层、池化层、正则化操作以及激活函数按顺序前后串联形成。其中，卷积核大小为2*2，步长为2，输出大小为64*64*256，激活函数采用ReLU。
第三层是卷积模块层，其是由卷积层、池化层、卷积层按顺序前后串联形成，如图7所示。其中，第一个卷积核大小为2*2，步长为2，输出大小为32*32*512，激活函数采用ReLU。池化层核大小为3*3，步长为1，输出为32*32*512。最后一个卷积核大小为1*1，步长为1，最终输出是32*32*3。


4.根据权利要求1所述的用于测试人工智能模型鲁棒性的方法，其特征在于，白盒攻击算法可以是快速梯度下降法、基本迭代法、投影梯度下降法、或者C&W法。


5.根据权利要求4所述的用于测试人工智能模型鲁棒性的方法，其特征在于，替代网络是3层卷积神经网络，它的具体组成为：
第一层是卷积模块层，其是由卷积层、池化层、正则化层按顺序前后串联形成，此时输入特征大小为32*32*3。其中，卷积核尺寸为2*2，卷积步长为2。池化层采用最大池化，池化核大小为2*2，步长为1。正则化操作的local_size是5，alpha值是0.0001，beta值是0.75，输出为16*16*96；
第二层是卷积模块层，其是由卷积层、池化层、正则化层按顺序前后串联形成，此时输入特征大小为16*16*96。其中，卷积核尺寸为2*2，卷积步长为2。池化层采用最大池化，池化核大小为2*2，步长为1。正则化操作的local_size是5，alpha值是0.0001，beta值是0.75，输出为8*8*128；
第三层是卷积层，其输入特征大小为8*8*128，卷积核大小为2*2，步长为2，输出为4*4*256；
第四层是第一个全连接层，将第三层输出进行全连接操作，输出为1*1024；
第五层是第二个全连接层，将第四层输出进行全连接操作，输出为1*512；
第六层是第三个全连接层，对第五层的输出进行全连接操作，输出大小为1*256的输出样本。


6.根据权利要求4所述的用于测试人工智能模型鲁棒性的方法，其特征在于，替代模型是4层卷积神经网络，其网络结构为：
第一层卷积模块层，由卷积层、池化层、正则化层按顺序前后串联形成，此时输入特征大小为32*32*3。其中，卷积核尺寸为2*2，卷积步长为2。池化层采用最大池化，池化核大小为2*2，步长为1。正则化操作的local_size是5，alpha值是0.0001，beta值是0.75，输出为16*16*256。
第二层卷积模块层，由卷积层、池化层、正则化层按顺序前后串联形成，此时输入特征大小为16*16*256。其中，卷积核尺寸为1*1，卷积步长为1。池化层采用最大池化，池化核大小为2*2，步长为1。正则化操作的local_size是5，alpha值是0.0001，beta值是0.75，输出为16*16*128...

【专利技术属性】
技术研发人员：李肯立，段明星，廖清，方森，李克勤，刘楚波，唐卓，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43