面向图像分类的神经网络架构构建和训练方法及系统技术方案

本发明专利技术公开了一种面向图像分类的神经网络架构构建和训练方法及系统，其中构建和训练方法包括获取搜索空间，并对其每个搜索单元赋予一个权重形成超网；采用图像分类训练集对超网中的可训练权重进行训练和更新；对训练后超网中可训练权重进行训练和更新，每个次更新可训练权重后，根据所有搜索单元的无偏估计量更新架构参数；选取搜索空间中每条边所有架构参数中最大值对应的搜索单元，存储至单元集合中；遍历单元集合中搜索单元，将模型参数未超过设定阈值的搜索单元加入架构中，形成神经网络架构；连接多个神经网络架构形成图像分类神经网络，并对图像分类神经网络进行训练；将采集的分类图像输入训练后的图像分类神经网络，输出分类图像的类别。输出分类图像的类别。输出分类图像的类别。

【技术实现步骤摘要】
面向图像分类的神经网络架构构建和训练方法及系统


[0001]本专利技术涉及图像分类
，具体涉及一种面向图像分类的神经网络架构构建和训练方法及系统。

技术介绍

[0002]目前，以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度神经网络(Deep Neural Network,DNN)已经被应用到了生活中各种与图像有关的场景当中，例如门禁中的人脸识别系统、交通监控中的车辆车牌识别系统、手机中的拍照识物系统等等。然而，目前的研究表明，应用到现实场景当中的大部分图像识别CNN的鲁棒性不佳，极易受到对抗样本的干扰，进而做出错误的判断，存在安全隐患。其中，对抗样本指的是，在原始输入图片的基础上，部分像素被修改后产生的新图片。例如，在车牌识别系统中，如果车牌中的一个数字被黑色的污渍遮挡了一部分，那么相比原来没有被遮挡的车牌，这张输入图片的部分像素就发生了改变(被污渍遮挡的区域)，这样的对抗样本就极易造成车牌识别系统的误判。
[0003]为了使用于图像识别的CNN具有更好的鲁棒性，从而使其对这样的对抗样本具有更准确的分类能力，目前的主流技术是使用对抗训练方法对CNN进行训练，从而使CNN具有更好的鲁棒性。其中，对抗训练指的是以特定的算法生成对抗样本后对CNN进行训练的方法。然而，现有研究表明，若通过对抗训练技术获得一个鲁棒的CNN，则通常需要一个较大的CNN来进行训练。例如，在机器学习最简单的手写数字分类数据集MNIST上，要获得一个鲁棒的CNN，相比一个仅需实现正常分类任务的CNN，网络内部的参数量要大四倍左右。然而，CNN的模型尺寸过大会导致其无法部署在摄像头等移动设备上，影响正常使用。
[0004]为了获得鲁棒性良好且轻量的CNN模型，现有的技术方案主要将对抗训练与模型压缩技术相结合，在使得CNN模型轻量化的同时提高其鲁棒性。在这类方法中，所采用的模型压缩技术主要分为两类，模型剪枝及模型量化。其中，对于第一类，模型剪枝指的是通过对CNN内部权重的重要性的评估，对冗余的、不关键的权重进行剔除，从而仅使得重要的权重保留下来的一类方法。这类方法通过对模型权重的剪枝，可以显著减小模型的尺寸。对于第二类采用模型量化的方案，模型量化指的是降低模型中参数的精度，进而实验模型压缩的一种技术。
[0005]然而这类将对抗训练与模型压缩技术相结合的方法也存在缺陷。这类方法需要依赖一个预先设计好的CNN架构才能发挥作用，而且方法的效果严重依赖于这个预先设计好的CNN架构的质量。也就是说，若此CNN架构是由经验丰富的领域专家所设计的性能优良的架构，那么在进行对抗训练和模型压缩后其性能也是良好的；反之，若此CNN架构的设计不合理，那么在进行对抗训练与模型压缩后，其性能也会不理想。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供的面向图像分类的神经网络架构构建和
训练方法及系统解决了现有技术中进行图像分类的神经网络鲁棒性差的问题。
[0007]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0008]第一方面，本方案提供一种面向图像分类的神经网络架构构建和训练方法，其包括步骤：
[0009]S1、获取DARTS算法中的搜索空间，并对搜索空间中的每个搜索单元赋予一个权重形成超网；
[0010]S2、获取图像分类训练集，将图像分类训练集输入超网，并采用图像分类训练集对超网中的可训练权重进行训练和更新；
[0011]S3、采用优化器对训练后超网中可训练权重进行训练和更新，每个搜索周期更新可训练权重后，根据所有搜索单元的无偏估计量更新架构参数；
[0012]S4、对于搜索空间中的每条边，选取其所有架构参数中最大值对应的搜索单元，存储至单元集合中；
[0013]S5、遍历单元集合中的每个搜索单元，将模型参数未超过设定阈值的搜索单元加入架构中，遍历完成后得到最终的神经网络架构；
[0014]S6、连接多个神经网络架构形成图像分类神经网络，并采用图像分类训练集和PGD对抗攻击方法对图像分类神经网络进行训练；
[0015]S7、将采集的分类图像输入训练后的图像分类神经网络，输出分类图像的类别。
[0016]本专利技术的有益效果为：本方案采用搜索单元的无偏估计量进更新，可以保证通过架构参数选取的搜索单元具有较高准确性和鲁棒性，从而保证构建鲁棒轻量级的CNN架构，满足在架构中包含尽可能多的高价值搜索单元的同时，实现架构的轻量化，使架构更容易部署到移动设备当中。
[0017]本方案得到的神经网络架构无需依赖人工经验对神经网络模型进行搭建，其自动设计出的模型也相较人工设计出的模型具有更高的识别准确率，更良好的鲁棒性以及更加满足架构轻量化的需求。
[0018]由本方案所提出的算法搜索到的CNN架构具有轻量化的特点，这样更有利于其在摄像头之类的移动设备之上进行部署。因为在这类移动设备上通常存在计算资源的限制，无法部署参数量较大的模型，所以本方案所搜索到的CNN架构与这类应用场景较为契合。
[0019]本方案经训练后得到的神经网络在对分类图像进行识别时，能够保证图像识别准确率的同时，对一些存在异常的情况进行准确的识别。由于本方案搜索到的网络架构具有良好的鲁棒性，即使在在进行图像分类时在存在对抗样本的条件下，也可以对图像进行较为准确的分类。
[0020]进一步地，更新架构参数的计算公式为：
[0021][0022]其中，α
k
和α
k
‑1分别为第k个和第k+1个搜索周期的架构参数；η为每次更新架构参数的步长；V
k
和V
k
‑1分别为第k个和第k+1个搜索周期中超网中所有搜索单元的价值所构成的向量；||V
k
||为V
k
的二范数值；ψ为动量参数；为第k个搜索周期中，可训练参数ω
k
已更新且架构参数α
k
‑1未更新时，超网中所有搜索单元价值的无偏估计量。
[0023]上述技术方案的有益效果为：直接采用每个搜索周期中评估得到的超网中所有搜
索单元的价值，对架构参数进行迭代更新，这使得搜索得到的架构参数直接与搜索单元的价值相关，可以直接作为选择的依据。同时，搜索过程中采用了动量更新的方法，这有助于架构参数在搜索过程中更快、更好地收敛。
[0024]进一步地，搜索单元的价值的计算公式为：
[0025][0026][0027][0028]其中，为搜索单元o
(i，j)
的价值；N为搜索空间中所有搜索单元的个数；N！为所有搜索单元的所有可能加入顺序的数量；为所有的搜索单元的所有可能的加入顺序构成的集合；p为所有可能的排列顺序中的一个排列顺序；和分别为在p下，搜索单元o
(i，j)
为超网的准确性与鲁棒性做出的贡献；A(
·
)为超网的准确率；R(
·
)为超网的对抗鲁棒本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向图像分类的神经网络架构构建和训练方法，其特征在于，包括步骤：S1、获取DARTS算法中的搜索空间，并对搜索空间中的每个搜索单元赋予一个权重形成超网；S2、获取图像分类训练集，将图像分类训练集输入超网，并采用图像分类训练集对超网中的可训练权重进行训练和更新；S3、采用优化器对训练后超网中可训练权重进行训练和更新，每个搜索周期更新可训练权重后，根据所有搜索单元的无偏估计量更新架构参数；S4、对于搜索空间中的每条边，选取其所有架构参数中最大值对应的搜索单元，存储至单元集合中；S5、遍历单元集合中的每个搜索单元，将模型参数未超过设定阈值的搜索单元加入架构中，遍历完成后得到最终的神经网络架构；S6、连接多个神经网络架构形成图像分类神经网络，并采用图像分类训练集和PGD对抗攻击方法对图像分类神经网络进行训练；S7、将采集的分类图像输入训练后的图像分类神经网络，输出分类图像的类别。2.根据权利要求1所述的面向图像分类的神经网络架构构建和训练方法，其特征在于，更新架构参数的计算公式为：其中，α
k
和α
k
‑1分别为第k个和第k+1个搜索周期的架构参数；η为每次更新架构参数的步长；V
k
和V
k
‑1分别为第k个和第k+1个搜索周期中超网中所有搜索单元的价值所构成的向量；||V
k
||为V
k
的二范数值；ψ为动量参数；为第k个搜索周期中，可训练参数ω
k
已更新且架构参数α
k
‑1未更新时，超网中所有搜索单元价值的无偏估计量。3.根据权利要求2所述的面向图像分类的神经网络架构构建和训练方法，其特征在于，搜索单元的价值的计算公式为：搜索单元的价值的计算公式为：搜索单元的价值的计算公式为：其中，为搜索单元o
(i，j)
的价值；N为搜索空间中所有搜索单元的个数；N！为所有搜索单元的所有可能加入顺序的数量；为所有的搜索单元的所有可能的加入顺序构成的集合；p为所有可能的排列顺序中的一个排列顺序；和分别为在p下，搜索单元o
(i，j)
为超网的准确性与鲁棒性做出的贡献；A(
·
)为超网的准确率；R(
·
)为超网的对抗鲁棒性；p(pre(o
(i，j)
))为在p中排在搜索单元o
(i，j)
之前的搜索单元；p(pre(o
(i，j)
)∪{o
(i，j)
})为排列p中排在搜索单元o
(i，j)
之前的搜索单元与搜索...

【专利技术属性】
技术研发人员：孙亚楠，冯雨麒，王聪，陈红阳，宋孝天，吕泽琼，
申请(专利权)人：四川大学，
类型：发明
国别省市：