一种基于梯度架构搜索的表现预测压缩方法技术

本发明专利技术公开一种基于梯度架构搜索的表现预测压缩方法，属于神经网络压缩与加速技术领域，通过在图像分类训练集中进行搜索训练，通过softmax函数将搜索空间松弛为连续，采用放射缩放变换在保证优化结果不变的情况下，解决内点优化问题，以提高网络模型的鲁棒性，产生梯度优化网络模型；之后以准确率为基准对梯度优化网络模型进行训练，根据表现情况进行排序，并与图像分类验证集进行比较以评估网络性能，迭代更新梯度优化网络结构，以减少训练时间并提高网络精度，最后对所得梯度优化网络结构进行离散化微调和剪枝微调，从而在图像分类任务中实现轻量化网络结构的压缩。任务中实现轻量化网络结构的压缩。任务中实现轻量化网络结构的压缩。

【技术实现步骤摘要】
一种基于梯度架构搜索的表现预测压缩方法


[0001]本专利技术属于神经网络压缩与加速
，具体涉及一种基于梯度架构搜索的表现预测压缩方法。

技术介绍

[0002]近年来研究者们设计出各种神经网络模型，以适应于不同图像分类任务中。随着图像分类任务所需求的神经网络数量规模越来越多，使得神经网络的结构越来越复杂，导致图像分类任务所要处理的参数越来越多，需要数十亿次浮点运算才能完成对一幅图像的处理。而庞大的计算量与参数量也导致神经网络在诸多实际应用中部署困难，如基于移动设备、电脑和可穿戴的电子设备等应用。
[0003]随着对神经网络的研究，研究者们发现神经网络中存在大量的冗余参数，进而提出一系列模型压缩技术，包括参数剪枝、知识蒸馏、模型量化以及网络轻量化等技术，通过在保证准确率不变的情况下对网络参数进行剔除等方法尽可能降低神经网络的复杂度。随着对模型压缩技术的深入研究，人们更关注神经网络自身的结构，在尽可能保证性能不变的情况下对神经网络结构进行简化，以达到模型压缩的目的。因此研究者们对自动神经架构搜索方法进行了深入研究，并对NAS(神经结构搜索)算法进行了各种改进，相关研究工作复杂而丰富。但经过大量的研究发现，其搜索算法的计算量仍然很大，效率仍然很低，影响搜索后网络结构的性能，会进一步影响网络结构的轻量化。因此如何降低计算复杂度、提高搜索效率成为了当前研究的关键。

技术实现思路

[0004]本专利技术目的在于针对上述现有技术中图像分类神经结构搜索效率低和训练耗时长的问题，提供一种基于梯度架构搜索的表现预测压缩方法，可减少训练时间并提高网络精度。
[0005]本专利技术所采用的技术方案如下：
[0006]一种基于梯度架构搜索的表现预测压缩方法，其特征在于，包括以下步骤：
[0007]S1：根据图像分类数据集中的图片分类训练集，对构建的连续搜索空间依次进行节点优化和内点优化，训练后获得梯度优化网络模型；
[0008]S2：针对梯度优化网络模型，使用表现预测算法搜索训练和评估验证，获得候选梯度优化网络结构；
[0009]S3：将图像分类数据集中的图片分类验证集输入至候选梯度优化网络结构，若输出的图像分类准确率低于预设值，则调整S1中连续搜索空间的宽度和深度，并重新获得梯度优化网络结构；否则，将候选梯度优化网络结构作为梯度优化网络结构；
[0010]S4：对梯度优化网络结构进行离散化微调和剪枝微调，获得图像分类轻量化剪枝后网络。
[0011]进一步地，S1的具体过程包括：
个block的预测器函数阈值的子网络；根据第c个block对应的剩余子网络和S23所得前K个表现最好的子网络的表现情况进行排序，选择前K个表现最好的子网络；
[0034]S26：重复S24，获得第c个block的预测器函数；
[0035]S27：循环S25～S26，直至c大于5，停止循环，获得最终预测器函数；
[0036]S28：基于最终预测器函数，将梯度优化网络模型与第5个block对应的前K个表现最好的子网络进行比较，获得表现情况最好的网络结构，作为候选梯度优化网络结构。
[0037]进一步地，所述预测器函数由LSTM(长短期记忆人工神经网络)控制器构成。
[0038]进一步地，K的取值范围为不低于128。
[0039]进一步地，S3中预设值为80％。
[0040]进一步地，S4采用softmax函数对梯度优化网络结构进行离散化微调。
[0041]本专利技术的有益效果为：
[0042]本专利技术提出一种基于梯度架构搜索的表现预测压缩方法，通过在图像分类训练集中进行搜索训练，通过softmax函数将搜索空间松弛为连续，使得节点优化过程可微，采用放射缩放变换在保证优化结果不变的情况下，解决内点优化问题，以提高网络模型的鲁棒性，从而通过梯度下降算法对搜索空间进行优化产生梯度优化网络模型；之后以准确率为基准对梯度优化网络模型进行训练，根据表现情况进行排序，并与图像分类验证集进行比较以评估网络性能，迭代更新梯度优化网络结构，以减少训练时间并提高网络精度，最后对所得梯度优化网络结构进行离散化微调和剪枝微调，从而在图像分类任务中实现轻量化网络结构的压缩。
附图说明
[0043]图1为本专利技术实施例1提供的基于梯度架构搜索的表现预测压缩方法的总体框架示意图；
[0044]图2为本专利技术实施例1中构建的搜索空间示意图。
具体实施方式
[0045]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图与实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0046]实施例1
[0047]针对图像分类任务，本实施例提供了一种基于梯度架构搜索的表现预测压缩方法，框架如图1所示，包括如下步骤：
[0048]S1：获取梯度优化网络模型，具体包括：
[0049]S11：根据图像分类数据集中的图片分类训练集，构建由5个block组成的训练集；各block通过并行的第一卷积和第二卷积构建，包括两种不同的cell，分别为normal cell(指输入和输出的图像尺寸相同的cell)和reduction cell(指对输入图像进行一次降采样所产生的cell)；各block可以表示为(I1,I2,O1,O2,C)
b
，b＝1,
…
,5，其中，I1,I2分别为第一卷积和第二卷积的输入；O1,O2分别为第一卷积和第二卷积的输出；C代表对第一卷积和第二卷积进行单位加运算操作；b代表各block的编号。
[0050]S12：初始化宽度和深度分别为N和F的搜索空间，搜索空间如图2所示，包括3
×
3卷积层、5
×
5卷积层、7
×
7卷积层、identity、3
×
3最均值池化层、3
×
3最大值池化层、3
×
3最加宽池化层以及1
×
7卷积层+7
×
1卷积层；搜索空间中cell与block之间的关系可以定义为：
[0051]Cell
m
的输出为：
[0052]其中，Cell
m
代表第m个cell。
[0053]S13：对初始化的搜索空间进行归一化，得到连续搜索空间。
[0054]S14：对连续搜索空间进行训练，具体包括：
[0055]S141：采用梯度优化算法对连续搜索空间进行节点优化，具体为：
[0056]对于在第b个block的Cell
m
，将其之前所有输出作为Cell
m
的cell节点图，也当作有向无环图，其中各cell节点具有两个输入和一个输出，定义连续搜索空间为：
[0057][0058]式中，x
(j)
为Cell
m
的cell本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于梯度架构搜索的表现预测压缩方法，其特征在于，包括以下步骤：S1：根据图片分类训练集对构建的连续搜索空间依次进行节点优化和内点优化，训练后获得梯度优化网络模型；S2：针对梯度优化网络模型，使用表现预测算法搜索训练和评估验证，获得候选梯度优化网络结构；S3：将图片分类验证集输入至候选梯度优化网络结构，若输出的图像分类准确率低于预设值，则调整S1中连续搜索空间的宽度和深度，重新获得梯度优化网络结构；否则，将候选梯度优化网络结构作为梯度优化网络结构；S4：对梯度优化网络结构进行离散化微调和剪枝微调，获得图像分类轻量化剪枝后网络。2.根据权利要求1所述基于梯度架构搜索的表现预测压缩方法，其特征在于，S1的具体过程包括：S11：根据图像分类数据集中的图片分类训练集，构建由5个block组成的训练集，各block包括两种不同的cell；S12：初始化宽度和深度分别为N和F的搜索空间，定义搜索空间中cell与block之间的关系为：Cell
m
的输出为其中，Cell
m
代表第m个cell；b代表各block的编号；S13：对搜索空间进行归一化，得到连续搜索空间；S14：对连续搜索空间进行训练，具体包括：S141：采用梯度优化算法对连续搜索空间进行节点优化，具体为：对于在第b个block的Cell
m
，将其之前所有输出作为Cell
m
的cell节点图，定义连续搜索空间为：其中，x
(j)
为Cell
m
的cell节点图中的第j个节点；o(i,j)代表有向边运算操作；x
(i)
为Cell
m
的cell节点图中的第i个节点；采用softmax函数对所有cell的cell节点图中的所有节点进行松弛，将连续搜索空间的训练过程转化为对连续变量的节点优化过程，即其中，代表对第v个cell和第u个cell之间的有向边e
(v,u)
进行运算o操作；argmax代表最大值自变量点集函数；为有向边...

【专利技术属性】
技术研发人员：刘欣刚，狄玉洁，欧阳智强，蒋翔宇，贺鸿程，冯承霖，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：