一种深度卷积神经网络快速自动压缩方法技术

本发明专利技术公开了一种深度卷积神经网络快速自动压缩方法。针对优化目标和待优化模型搜索找到最优模型量化方案：初始化强化学习代理和环境，完成达到指定搜索轮数则输出最优模型；反之单轮搜索。在单轮搜索中，确定每一个可量化层的零比特通道索引和通道最小比特数，计算当前模型该层的量化方案以及量化后模型大小。如果当前可量化层是最后一层且不满足优化目标则调整模型量化方案至满足优化目标或不能调整为止；反之评估量化方案并保存环境参数，若当前可量化层不是最后一层，则继续单轮搜索；反之若当前模型量化方案最优，则保存量化方案为最优模型量化方案。避免了大量人为调参，不需要进行网络减枝与网络量化达成硬件要求，能够快速得到压缩网络。

【技术实现步骤摘要】
一种深度卷积神经网络快速自动压缩方法
本专利技术涉及深度神经网络轻量化领域，更具体的说是涉及一种用于目标识别任务的深度卷积神经网络快速自动压缩方法。
技术介绍
随着半导体技术和硬件能源的发展，硬件设备已经可以支持较高并发与高吞吐量的计算任务。同时，近十年来计算机视觉技术飞速发展，具有不同特性的深度神经网络应运而生，并在针对遥感图像数据的目标检测识别及场景理解等应用环境下取得了类人的表现。因此，为满足硬件发展需求和在目标检测、识别(如飞机、舰船、地面目标的检测和识别)任务上充分发挥深度神经网络优势，网络轻量化在军事和民用领域具有重要的研究意义。由于深度卷积神经网络参数量巨大且不同硬件平台之间存在差异，如何在满足硬件要求(能耗，模型大小)的前提下保有网络性能使其适配于不同硬件平台是一个亟待解决的难题。网络减枝与网络量化不但是常用的网络压缩手段而且也是当前研究的重点。1989年，学术界提出关于神经网络结构的优化方法，即在网络性能允许的下降范围内通过减少网络中不必要的连接来获得网络计算量和大小的下降。自此之后，网络减枝过程被建模成一个逐层的通道本文档来自技高网...

【技术保护点】
1.一种深度卷积神经网络快速自动压缩方法，其特征在于，包括输入优化目标和待优化模型，并根据所述待优化模型和所述优化目标初始化强化学习代理和环境，进行最优模型量化方案搜索，具体搜索过程如下：/nS1单轮搜索过程：/nS11：根据通道重要性计算零比特通道索引和通道最小比特数；/nS12：根据所述零比特通道索引确定当前模型量化方案；/nS13：基于所述当前模型量化方案计算量化后模型大小；/nS14：若当前可压缩层是最后一层且所述当前模型量化方案不满足所述优化目标，则根据所述通道最小比特数循环调整所述当前模型量化方案，直至满足所述优化目标或不能进行量化为止；/n若当前可压缩层不是最后一层，或者所述当前...

【技术特征摘要】
1.一种深度卷积神经网络快速自动压缩方法，其特征在于，包括输入优化目标和待优化模型，并根据所述待优化模型和所述优化目标初始化强化学习代理和环境，进行最优模型量化方案搜索，具体搜索过程如下：
S1单轮搜索过程：
S11：根据通道重要性计算零比特通道索引和通道最小比特数；
S12：根据所述零比特通道索引确定当前模型量化方案；
S13：基于所述当前模型量化方案计算量化后模型大小；
S14：若当前可压缩层是最后一层且所述当前模型量化方案不满足所述优化目标，则根据所述通道最小比特数循环调整所述当前模型量化方案，直至满足所述优化目标或不能进行量化为止；
若当前可压缩层不是最后一层，或者所述当前模型量化方案满足所述优化目标，则基于所述量化后模型大小评估当前层量化方案并保存相关环境参数；
S15：继续搜索条件，判断是否结束本轮搜索，并且基于当前层量化方案评估结果进一步判断是否结束本轮搜索以及是否更新最优模型量化方案；
S2多轮搜索过程：重复执行S1，直至当前搜索轮数达到要求搜索轮数后，模型量化方案搜索结束，输出最优压缩模型。


2.根据权利要求1所述的一种深度卷积神经网络快速自动压缩方法，其特征在于，所述待优化模型包括可量化层集合N＝{L1，...，Li，...，Ln}，其中i＝1…n，n表示可量化层数，可量化层输入通道数集合I＝{I1，...，In}和可量化层所需存储空间集合LS＝{LS1，...，LSn}；
所述优化目标包括压缩后模型最大比特率bitmax、搜索轮数episodes、模型大小压缩比sc∈(0，1]、待优化模型初始化TOP-5准确率acc(N)、最优评估结果Rbest和最优模型量化方案Pbest；
初始化强化学习环境时，强化学习状态si定义为(idx，t，out，in，w，h，stride，k，reducedFLOPs，resFLOPs，reducedSize，restSize，ai-1)，其中，idx为层索引，t为层类型、包括卷积层和全连接层，out为输出通道数，in为输入通道数，w和h是输入特征向量的宽和高，stride与k为卷积层卷积操作的步长和卷积核的边长、全连接层中stride与k均为1，reducedFLOPs是当前压缩策略减少的计算量、初始化为0，restFLOPs是模型剩余计算量、初始化为模型计算量NFLOPs，reducedSize是当前压缩策略减少的模型大小、初始化为0，restSize是模型剩余大小、初始化为模型大小Nsize，ai-1为前一个可压缩层稀疏度，初始化为0；
强化学习代理包括行动者网络θ、评价者网络μ和环境噪声σ。


3.根据权利要求2所述的一种深度卷积神经网络快速自动压缩方法，其特征在于，根据通道重要性确定零比特通道索引，具体步骤包括：
S111、根据所述可量化层输入通道数集合，对第i层创建通道索引序列CI＝{p|p＝1，...，Ii}，Ii为第i个可量化层输入通道数；
S112、根据第i层每一个通道c通道重要性对所述通道索引序列CI升序排序，得到升序排序后索引序列CI′；
其中，第i层第c个通道重要性
式中，Ii+1为第i+1个可量化层输入通道数，为第i层第c个滤波器权值，由第i层权值得出；为第i层通道重要性，imp＝{impi|i＝1，...，n}为模型通道重要性，n为可量化层数；
S113、根据可量化层输入通道数Ii，计算该层置零比特通道数cp，



其中，min()，max()为求输入序列中最小值与最大值函数，层稀疏度si为强化学习状态，θ为行动者网络，μ为评价者网络，σ为环境噪声，ai的取值范围是(0，1]；
S114、基于所述升序排序后索引序列CI′和所述置零比特通道数cp，计算零比特通道索引ZCI：
ZCI＝topk(CI′，cp)(3)。


4.根据权利要求3所述的一种深度卷积神经网络快速自动压缩方法，其特征在于，通道最小比特数minBW计算公式为：
minBW＝{minBWi|i＝1，...，n}(4)






其中，minBWi表示第i层通道最小比特数数，minBWic表示第i层第c个通道的通道最小比特数，bitmax为压缩后模型最大比特数，为第i层第c个通道重要性。


5.根据权利要求4所述的一种深度卷积神经网络快速自动...

【专利技术属性】
技术研发人员：唐文婷，韦星星，王越，李波，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11