一种卷积网络模型压缩方法、系统及存储介质技术方案

本发明专利技术实施例公开了一种卷积网络模型压缩方法、系统及存储介质，本发明专利技术实施例提供的卷积网络模型压缩方法首先对卷积网络模型进行通道稀疏正则化训练，使卷积网络模型收敛，再采用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝，然后对剪枝后的卷积网络模型进行微调并判断是否收敛，如果收敛则得到压缩后的卷积网络模型，从而有效地减小了卷积网络模型的大小和卷积网络模型运行时对内存的占用，并在不影响精度的同时降低了操作数，还可以使用传统硬件和深度学习软件包实现模型压缩和推理加速，而不需要使用其他特殊的软硬件加速器。件加速器。件加速器。

【技术实现步骤摘要】
一种卷积网络模型压缩方法、系统及存储介质


[0001]本专利技术实施例涉及数据处理
，具体涉及一种卷积网络模型压缩方法、系统及存储介质。

技术介绍

[0002]卷积网络模型在现实中应用时通常要面临三个问题：(1)模型大小对嵌入式设备的影响:卷积网络模型优异的性能取决于模型内上百万可训练的参数，这些参数和网络结构信息需要被存储到硬盘中，然后在推理期间加载到内存中，例如一个在ImageNet上预训练好的模型需要超过300M空间，这对于嵌入式设备来说是一个很大的负担；(2)运行时间对占用内存的影响:在推理期间，卷积网络模型的中间激活值/响应对存储空间的需求甚至比存储模型参数的要更大，即使这对于高性能的GPU来说不是问题，但对于低计算能力的许多应用来说是一个较大的负担；(3)计算量：在高分辨率图片上卷积进行操作时可能会导致计算密集，一个大的卷积网络模型在嵌入式设备上可能要花费几分钟来处理一张图片，这使得在现实应用中并不可行。

技术实现思路

[0003]为此，本专利技术实施例提供一种卷积网络模型压缩方法、系统及存储介质，以解决上述
技术介绍
中出现的至少一个问题。
[0004]为了实现上述目的，第一方面，本专利技术实施例提供了一种卷积网络模型压缩方法，包括：
[0005]采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型，并对卷积网络模型执行如下步骤：
[0006]利用训练数据集对卷积网络模型进行通道稀疏正则化训练，直到卷积网络模型收敛；
[0007]利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝；
[0008]对剪枝后的卷积网络模型进行微调，并判断微调后的卷积网络模型是否收敛；
[0009]若微调后的卷积网络模型收敛，则保存微调后的卷积网络模型的模型参数，得到压缩后的卷积网络模型；若微调后的卷积网络模型不收敛，则重复上述步骤。
[0010]进一步地，采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型包括：
[0011]根据应用场景采集图像数据并制作训练数据集；
[0012]计算训练数据集的均值和标准差；
[0013]根据均值和标准差对训练数据集做归一化处理，得到预处理后的训练数据集；
[0014]根据应用场景包含的类别数量，配置卷积网络模型的通道数量；
[0015]利用训练数据集对卷积网络模型进行通道稀疏正则化训练包括：
[0016]利用预处理后的训练数据集对卷积网络模型进行通道稀疏正则化训练。
[0017]进一步地，利用预处理后的训练数据集对卷积网络模型进行通道稀疏正则化训练包括：
[0018]将预处理后的训练数据集输入卷积网络模型，对卷积网络模型进行通道稀疏正则化训练，得到卷积网络模型的输出值、更新后的权重参数和BN层的缩放因子。
[0019]进一步地，缩放因子的个数与BN层的层数相同。
[0020]进一步地，利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝包括：
[0021]在搭建卷积网络模型时，在卷积网络模型的卷积层之后插入BN层，通过对卷积网络模型进行训练，得到BN层的缩放因子和平移参数；
[0022]利用BN层的缩放因子和平移参数，对收敛后的卷积网络模型的通道进行剪枝。
[0023]进一步地，对收敛后的卷积网络模型的通道进行剪枝包括：
[0024]将收敛后的卷积网络模型的每个通道对应的BN层的缩放因子的绝对值按照排序规则进行排序；
[0025]截取排序后的相应位置的BN层的缩放因子作为收敛后的卷积网络模型的所有层的全局阈值；
[0026]判断收敛后的卷积网络模型的每个通道对应的BN层的缩放因子是否小于全局阈值；
[0027]若是，则剪去小于全局阈值的BN层的缩放因子对应的收敛后的卷积网络模型的通道。
[0028]第二方面，本专利技术实施例提供了一种卷积网络模型压缩系统，系统包括：处理器和存储器；
[0029]存储器用于存储一个或多个程序指令；
[0030]处理器，用于运行一个或多个程序指令，用以执行如上一种卷积网络模型压缩方法中任一方法步骤。
[0031]第三方面，本专利技术实施例提供了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种卷积网络模型压缩系统执行如上一种卷积网络模型压缩方法中任一方法步骤。
[0032]本专利技术实施例具有如下优点：
[0033]本专利技术实施例提供的卷积网络模型压缩方法首先对卷积网络模型进行通道稀疏正则化训练，使卷积网络模型收敛，再采用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝，然后对剪枝后的卷积网络模型进行微调并判断是否收敛，如果收敛则得到压缩后的卷积网络模型，从而有效地减小了卷积网络模型的大小和卷积网络模型运行时对内存的占用，并在不影响精度的同时降低了操作数，还可以使用传统硬件和深度学习软件包实现模型压缩和推理加速，而不需要使用其他特殊的软硬件加速器。
附图说明
[0034]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0035]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。
[0036]图1为本专利技术实施例提供的一种卷积网络模型压缩方法流程示意图；
[0037]图2为本专利技术实施例提供的再一种卷积网络模型压缩方法流程示意图；
[0038]图3为本专利技术实施例提供的一种对收敛后的卷积网络模型的通道进行剪枝的方法流程示意图；
[0039]图4为专利技术实施例提供的再一种对收敛后的卷积网络模型的通道进行剪枝的方法流程示意图；
[0040]图5为专利技术实施例提供的卷积网络模型压缩系统结构框图。
具体实施方式
[0041]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0042]如图1所示，本实施例提供了一种卷积网络模型压缩方法，包括：
[0043]S101、采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型，并对卷积网络模型执行步骤S102至S105：
[0044]S102、利用训练数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积网络模型压缩方法，其特征在于，包括：采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型，并对所述卷积网络模型执行如下步骤：利用所述训练数据集对所述卷积网络模型进行通道稀疏正则化训练，直到所述卷积网络模型收敛；利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝；对剪枝后的卷积网络模型进行微调，并判断微调后的卷积网络模型是否收敛；若所述微调后的卷积网络模型收敛，则保存所述微调后的卷积网络模型的模型参数，得到压缩后的卷积网络模型；若所述微调后的卷积网络模型不收敛，则重复上述所述步骤。2.根据权利要求1所述的卷积网络模型压缩方法，其特征在于，所述采集图像数据并制作训练数据集，利用深度学习框架搭建卷积网络模型包括：根据应用场景采集图像数据并制作训练数据集；计算所述训练数据集的均值和标准差；根据所述均值和所述标准差对所述训练数据集做归一化处理，得到预处理后的训练数据集；根据所述应用场景包含的类别数量，配置卷积网络模型的通道数量；所述利用所述训练数据集对所述卷积网络模型进行通道稀疏正则化训练包括：利用所述预处理后的训练数据集对所述卷积网络模型进行通道稀疏正则化训练。3.根据权利要求2所述的卷积网络模型压缩方法，其特征在于，所述利用所述预处理后的训练数据集对所述卷积网络模型进行通道稀疏正则化训练包括：将所述预处理后的训练数据集输入所述卷积网络模型，对所述卷积网络模型进行通道稀疏正则化训练，得到所述卷积网络模型的输出值、更新后的权重参数和BN层的缩放因子。4.根据权利要求3...

【专利技术属性】
技术研发人员：李卫东，刘平涛，罗博文，张招，
申请(专利权)人：武汉莱克斯瑞科技发展有限公司，
类型：发明
国别省市：