一种分类网络及其实现方法和装置制造方法及图纸

本申请公开了一种分类网络及其实现方法和装置，其中方法包括：基于IRv2算法构建包括Stem模块、多个Inception模块和多个IR模块的分类网络，分类网络的批标准化BN层使用γ参数；对分类网络进行初始化，并对初始化的分类网络进行稀疏化训练，得到稀疏化的γ参数；基于稀疏化的γ参数，对Stem模块、剪枝Inception模块和多个IR模块进行network slimming剪枝，对非剪枝Inception模块不进行network slimming剪枝。该技术方案能够既保证分类网络的分类效果，同时实现网络结构的精简，从而提高训练效率，减少推理时间和内存占用，节省人力、工时和经费，使得分类网络可以部署在不同算力的硬件设备上。

【技术实现步骤摘要】
一种分类网络及其实现方法和装置
本申请涉及神经网络
，尤其涉及一种分类网络及其实现方法和装置。
技术介绍
IRv2算法的全称是Inception-ResNet-v2，即第二代将Inception与ResNet(残差网络)进行结合以进行分类的算法，结合了Inception与ResNet的优点，能够得到较深的分类网络，分类性能十分不错。但基于IRv2算法得到的分类网络也具有复杂度高、内存占用大等问题，亟需解决。
技术实现思路
本申请实施例提供了一种分类网络及其实现方法和装置，能够既保证分类网络的分类效果，同时降低分类网络的复杂度，得到更轻量的分类网络。本申请实施例采用下述技术方案：第一方面，本申请实施例提供一种分类网络的实现方法，包括：基于IRv2算法构建包括Stem模块、多个Inception模块和多个IR模块的分类网络，其中，多个Inception模块包括剪枝Inception模块和非剪枝Inception模块，分类网络的批标准化BN层使用γ参数；对分类网络进行初始化，并对初始化的分类网络进行稀疏化训练，得到稀疏化的γ参数；基于稀疏化的γ参数，对稀疏化训练后的分类网络进行剪枝处理，其中，对Stem模块、剪枝Inception模块和多个IR模块进行networkslimming剪枝，对非剪枝Inception模块不进行networkslimming剪枝。在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：对Stem模块中首个卷积层的输入通道，不进行networkslimming剪枝处理。在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：依据Stem模块中最后一个卷积层的输出通道的数量和序号，确定剪枝Inception模块中，每一个分支下首个卷积层的输入通道的数量和序号。在一些实施例中，分类网络的实现方法中，Inception模块包括Mixed_5b模块和Mixed_7a模块，其中Mixed_5b模块为剪枝Inception模块，Mixed_7a模块为非剪枝Inception模块。在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：对IR模块中每一个inception分支下的首个卷积层的输入通道，不进行networkslimming剪枝。在一些实施例中，分类网络的实现方法中，对稀疏化训练后的分类网络进行剪枝处理包括：根据各inception分支中最后一个卷积层的输出通道的数量和序号，确定IR模块中，连接在concat层后的首个卷积层的输入通道的数量和序号。在一些实施例中，分类网络的实现方法中，对Stem模块、剪枝Inception模块和多个IR模块进行networkslimming剪枝包括：对Block35模块、Block17模块以及Block8模块这三种IR模块进行networkslimming剪枝。在一些实施例中，分类网络的实现方法还包括：对经过剪枝处理后的分类网络进行微调；若微调后的分类网络的剪枝率达到预设值，则输出微调后的分类网络；否则，对微调后的分类网络进行稀疏化训练，并对稀疏化训练后的分类网络再次进行剪枝处理。第二方面，本申请实施例还提供一种分类网络的实现装置，用于实现如上任一所述的分类网络的实现方法。第三方面，本申请实施例还提供一种基于IRv2算法的分类网络，包括Stem模块、多个Inception模块和多个IR模块，Inception模块包括剪枝Inception模块和非剪枝Inception模块，Stem模块、剪枝Inception模块和IR模块经过networkslimming剪枝，非剪枝Inception模块不经过networkslimming剪枝。第四方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一所述的分类网络的实现方法。第五方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行如上任一所述的分类网络的实现方法。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过有选择性地使用networkslimming剪枝处理技术，对包括Stem模块、多个Inception模块和多个IR模块的分类网络进行合理剪枝，能够既保证分类网络的分类效果，同时实现网络结构的精简，从而提高训练效率，减少推理时间和内存占用，节省人力、工时和经费，使得分类网络可以部署在不同算力的硬件设备上。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1示出了根据本申请一个实施例的分类网络的实现方法的流程示意图；图2示出了根据本申请一个实施例的基于IRv2算法的分类网络结构示意图；图3示出了图2中Mixed_5b模块的网络结构示意图；图4示出了图2中Block35模块的网络结构示意图；图5示出了图2中Block17模块的网络结构示意图；图6示出了图2中Block8模块的网络结构示意图；图7示出了根据本申请一个实施例的分类网络的实现装置的结构示意图；图8为本申请实施例中一种电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。为了扩大分类神经网络的适用场景、降低分类神经网络的训练和推理时间、压缩分类神经网络的模型大小，学术界提出了大量剪枝、压缩和量化方法，通过对现有的复杂分类神经网络进行剪枝、压缩、量化，使其适用于多种具有不同算力的应用场景。神经网络剪枝的出发点是在保证模型性能损失不太大的情况下，剔除模型中不重要的参数，从而减少网络的复杂度、内存占用以及计算量。神经网络剪枝按照剪枝的粒度可以分为非结构化剪枝和结构化剪枝。早期的剪枝方法多数是非结构化的，例如对kernel中绝对值小的值置零，从而得到稀疏的kernel，其特点是需要底层硬件或者计算库支持。结构化剪枝可以是通道级(channel-wise)、滤波器级(filter-wise)或者形状级(shape-wise)，即对不重要的结构直接删除，其优点是不需要底层硬件或者计算库的支持。NetworkSlimming算法属于经典的结构化剪枝算法，通过在卷积层引入通道级的scalingfactor(标度系数)来实现对卷积层的剪枝。在卷积神经网络中，BatchNormalization(BN，批标准化本文档来自技高网...

【技术保护点】
1.一种分类网络的实现方法，包括：/n基于IRv2算法构建包括Stem模块、多个Inception模块和多个IR模块的分类网络，其中，所述多个Inception模块包括剪枝Inception模块和非剪枝Inception模块，所述分类网络的批标准化BN层使用γ参数；/n对所述分类网络进行初始化，并对初始化的分类网络进行稀疏化训练，得到稀疏化的γ参数；/n基于稀疏化的γ参数，对稀疏化训练后的分类网络进行剪枝处理，其中，对所述Stem模块、所述剪枝Inception模块和所述多个IR模块进行network slimming剪枝，对所述非剪枝Inception模块不进行network slimming剪枝。/n

【技术特征摘要】
1.一种分类网络的实现方法，包括：
基于IRv2算法构建包括Stem模块、多个Inception模块和多个IR模块的分类网络，其中，所述多个Inception模块包括剪枝Inception模块和非剪枝Inception模块，所述分类网络的批标准化BN层使用γ参数；
对所述分类网络进行初始化，并对初始化的分类网络进行稀疏化训练，得到稀疏化的γ参数；
基于稀疏化的γ参数，对稀疏化训练后的分类网络进行剪枝处理，其中，对所述Stem模块、所述剪枝Inception模块和所述多个IR模块进行networkslimming剪枝，对所述非剪枝Inception模块不进行networkslimming剪枝。


2.如权利要求1所述的方法，其特征在于，所述对稀疏化训练后的分类网络进行剪枝处理包括：
对所述Stem模块中首个卷积层的输入通道，不进行networkslimming剪枝。


3.如权利要求2所述的方法，其特征在于，所述对稀疏化训练后的分类网络进行剪枝处理包括：
依据所述Stem模块中最后一个卷积层的输出通道的数量和序号，确定所述剪枝Inception模块中，每一个分支下首个卷积层的输入通道的数量和序号。


4.如权利要求1所述的方法，其特征在于，
所述Inception模块包括Mixed_5b模块和Mixed_7a模块，其中Mixed_5b模块为剪枝Inception模块，所述Mixed_7a模块为非剪枝Inception模块。


5.如权利要求1所述的方法，其特征在于，所述对稀疏化训练后的分类网络进行剪枝处理包括：
对所述IR模块中每一...

【专利技术属性】
技术研发人员：冯蓬勃，张一凡，刘杰，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东;37