基于图像检测模型训练的剪枝方法及装置制造方法及图纸

本发明专利技术提供一种基于图像检测模型训练的剪枝方法及装置，涉及图像处理技术领域，该方法包括：将图像训练集输入图像检测模型，计算损失值；根据损失值计算所述图像检测模型的待剪枝各层中参数矩阵的第一梯度；根据预设的稀疏化比率，确定待剪枝层的参数矩阵中的待稀疏化参数；根据待稀疏化参数生成掩膜矩阵；根据掩膜矩阵和预设的正则化项更新待稀疏化参数的梯度为第二梯度；根据第二梯度更新待剪枝层中的待稀疏化参数，根据所述第一梯度更新其它参数的梯度，以更新待剪枝各层的参数矩阵，按预设的迭代次数N，迭代上述步骤N次，以完成剪枝，并得到训练完成的图像检测模型。本发明专利技术无需模型预训练和fine

【技术实现步骤摘要】
基于图像检测模型训练的剪枝方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于图像检测模型训练的剪枝方法及装置。

技术介绍

[0002]目前，图像检测模型主要用于对图像进行识别，从中识别出想要的目标，例如：自动驾驶系统中的行人检测模型，从车辆拍摄的图像中识别出行人，以便自动驾驶系统采集相应的安全措施。大多图像检测模型都是根据深度学习模型为基础模型训练得到。因此，图像检测模型具有复杂的结构，复杂的结构也赋予了图像检测模型从大量的训练集中学习高级语义特征的能力，同时复杂的结构带来了一系列的问题：(1)对于层数和神经元数量较多的深度网络，计算延迟难以达到应用的标准，尤其是对于一些实时任务；(2)深度模型的部署从笨重的服务器上逐渐扩展到像可穿戴设备、手机、车载设备、机器人、无人机等终端设备上，此类设备对计算能力和内存空间有严格限制，因此降低模型的大小以及计算花销成为一个有前景的课题。
[0003]在人脑的研究中发现，人脑中的神经元突触会随着年龄的增长，先增加后减少一些无用突触，根据这个现象，引出了模型剪枝问题。
[0004]模型剪枝是模型压缩领域的常用方法，用于压缩模型大小和加速模型计算，现有的模型剪枝方法中大多需要基于预训练模型进行剪枝，且在剪枝训练后都需要fine
‑
tune训练，即常规剪枝流程：模型预训练—>剪枝稀疏化训练—>剪枝fine
‑
tune(微调)训练。可见，模型预训练和fine
‑
tune训练导致剪枝链路耗时较长。

技术实现思路

[0005]本专利技术提供一种基于图像检测模型训练的剪枝方法及装置，用以解决现有的模型剪枝方法中模型预训练和fine
‑
tune训练导致剪枝链路耗时较长的问题。
[0006]本专利技术提供一种基于图像检测模型训练的剪枝方法，包括：
[0007]将图像训练集输入图像检测模型，计算损失值；
[0008]根据所述损失值计算所述图像检测模型的各层中参数矩阵的第一梯度；
[0009]根据预设的稀疏化比率，确定待剪枝层的参数矩阵中的待稀疏化参数；
[0010]根据所述待稀疏化参数生成掩膜矩阵；
[0011]根据所述掩膜矩阵和预设的正则化项更新所述待稀疏化参数的梯度为第二梯度；
[0012]根据所述第二梯度更新待剪枝层中的所述待稀疏化参数，根据所述第一梯度更新待剪枝层中的其它参数及其它各层中的参数，以更新各层的参数矩阵，
[0013]按预设的迭代次数N，迭代上述步骤N次，以完成剪枝，并得到训练完成的图像检测模型。
[0014]根据本专利技术提供的一种基于图像检测模型训练的剪枝方法，根据预设的稀疏化比率，确定待剪枝层的参数矩阵中的待稀疏化参数，包括：
[0015]将待剪枝层的参数矩阵中的参数按其绝对值由小到大排序；
[0016]选择前n
×
r个参数为所述待稀疏化参数，其中，n为所述参数矩阵中参数总个数，r为所述稀疏化比率。
[0017]根据本专利技术提供的一种基于图像检测模型训练的剪枝方法，根据所述掩膜矩阵和预设的正则化项更新所述待稀疏化参数的梯度为第二梯度，包括：
[0018]根据所述参数矩阵和所述掩膜矩阵确定所述正则化项；
[0019]根据所述掩膜矩阵、所述正则化项和预设的正则化项的更新系数更新所述待稀疏化参数的梯度为第二梯度。
[0020]根据本专利技术提供的一种基于图像检测模型训练的剪枝方法，所述计算损失值，包括：
[0021]计算用于预测图像中目标框的类别的第一损失函数；
[0022]计算用于预测所述目标框的中心位置的第二损失函数；
[0023]计算用于预测所述目标框的尺寸范围的第三损失函数；
[0024]根据第一损失函数、第二损失函数和第三损失函数计算所述损失值。
[0025]根据本专利技术提供的一种基于图像检测模型训练的剪枝方法，所述待剪枝层为所述图像检测模型的网络输出层。
[0026]根据本专利技术提供的一种基于图像检测模型训练的剪枝方法，所述稀疏化比率为0.2～0.6。
[0027]本专利技术还提供一种基于图像检测模型训练的剪枝装置，包括：
[0028]损失值计算模块，用于将图像训练集输入图像检测模型，计算损失值；
[0029]梯度计算模块，用于根据所述损失值计算所述图像检测模型的各层中参数矩阵的第一梯度；
[0030]待稀疏化参数确定模块，用于根据预设的稀疏化比率，确定待剪枝层的参数矩阵中的待稀疏化参数；
[0031]掩膜矩阵生成模块，用于根据所述待稀疏化参数生成掩膜矩阵；
[0032]梯度更新模块，用于根据所述掩膜矩阵和预设的正则化项更新所述待稀疏化参数的梯度为第二梯度；
[0033]参数矩阵更新模块，用于根据所述第二梯度更新待剪枝层中的所述待稀疏化参数，根据所述第一梯度更新待剪枝层中的其它参数及其它各层中的参数，以更新各层的参数矩阵，
[0034]按预设的迭代次数N，迭代执行上述模块N次，以完成剪枝，并得到训练完成的图像检测模型，N为大于1的整数。
[0035]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于图像检测模型训练的剪枝方法。
[0036]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于图像检测模型训练的剪枝方法。
[0037]本专利技术提供的基于图像检测模型训练的剪枝方法及装置，直接在模型训练的同时进行剪枝，支持对没有经过预训练的模型剪枝，且剪枝后无需对模型进行fine
‑
tune训练，
相对于现有的剪枝方法省去了预训练和fine
‑
tune训练的环节，缩短了剪枝链路的耗时，剪枝时参数是训练时逐渐被稀疏化到0值的，因此，剪枝的过程更平滑，使得同样剪枝效果下的剪枝率能更高。
附图说明
[0038]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术提供的基于图像检测模型训练的剪枝方法的流程示意图之一；
[0040]图2是本专利技术提供的基于图像检测模型训练的剪枝装置的结构示意图；
[0041]图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0042]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像检测模型训练的剪枝方法，其特征在于，包括：将图像训练集输入图像检测模型，计算损失值；根据所述损失值计算所述图像检测模型的各层中参数矩阵的第一梯度；根据预设的稀疏化比率，确定待剪枝层的参数矩阵中的待稀疏化参数；根据所述待稀疏化参数生成掩膜矩阵；根据所述掩膜矩阵和预设的正则化项更新所述待稀疏化参数的梯度为第二梯度；根据所述第二梯度更新待剪枝层中的所述待稀疏化参数，根据所述第一梯度更新待剪枝层中的其它参数及其它各层中的参数，以更新各层的参数矩阵，按预设的迭代次数N，迭代上述步骤N次，以完成剪枝，并得到训练完成的图像检测模型，N为大于1的整数。2.根据权利要求1所述的基于图像检测模型训练的剪枝方法，其特征在于，根据预设的稀疏化比率，确定待剪枝层的参数矩阵中的待稀疏化参数，包括：将待剪枝层的参数矩阵中的参数按其绝对值由小到大排序；选择前n
×
r个参数为所述待稀疏化参数，其中，n为所述参数矩阵中参数总个数，r为所述稀疏化比率。3.根据权利要求1所述的基于图像检测模型训练的剪枝方法，其特征在于，根据所述掩膜矩阵和预设的正则化项更新所述待稀疏化参数的梯度为第二梯度，包括：根据所述参数矩阵和所述掩膜矩阵确定所述正则化项；根据所述掩膜矩阵、所述正则化项和预设的正则化项的更新系数更新所述待稀疏化参数的梯度为第二梯度。4.根据权利要求1所述的基于图像检测模型训练的剪枝方法，其特征在于，所述图像检测模型为行人检测模型。5.根据权利要求4所述的基于图像检测模型训练的剪枝方法，其特征在于，所述计算损失值，包括：计算用于预测图像中目标框的类别的第一损失函数；计算用于预测所述目标框的中心位置...

【专利技术属性】
技术研发人员：陆强，
申请(专利权)人：嬴彻星创智能科技上海有限公司，
类型：发明
国别省市：