一种深度卷积网络的轻量化压缩方法技术

本发明专利技术涉及一种深度卷积网络的轻量化压缩方法，包括以下步骤：对第一网络模型的输出进行精简，并对第一网络模型的主干网络部分进行剪枝，得到第二网络模型；所述第一网络模型为训练好的深度卷积网络模型；对所述第二网络模型进行基于知识蒸馏和多分辨图像的微调训练；对所述第二网络模型进行模型剪枝，并生成第三网络模型，并对所述第三网络模型进行基于特征空间对齐和知识蒸馏的微调训练，并将训练好的第三网络模型作为最终模型。本发明专利技术能够在获得低分辨率输入、精简输出、结构轻量的网络模型的同时保证该网络的检测精度与鲁棒性。模型的同时保证该网络的检测精度与鲁棒性。模型的同时保证该网络的检测精度与鲁棒性。

【技术实现步骤摘要】
一种深度卷积网络的轻量化压缩方法


[0001]本专利技术涉及计算机视觉
，特别是涉及一种深度卷积网络的轻量化压缩方法。

技术介绍

[0002]尽管基于深度学习的网络模型相比传统基于图像处理的方法在检测精度上有着显著优势，但在移动端或芯片中进行部署时，却面临着参数量过大、运算速度过慢等问题。因此，对深度卷积网络模型的轻量化压缩具有重要应用价值。
[0003]目前，知识蒸馏是较常用的深度卷积网络压缩方法，其利用结构复杂但预测性能更好的网络作为教师网络，去训练结构简单的学生网络，最终使学生网络达到与教师网络相近的精度与鲁棒性。目前主流的知识蒸馏算法主要面向网络输出与输入相同的教师与学生网络，集中在如何设计目标损失函数，达到从教师网络向学生网络进行知识传递的目的。深度卷积神经网络在面向移动端或芯片端进行实际部署时，受计算能力的约束，除了需要对网络主干部分的权重参数进行压缩，往往也需要对模型输出进行精简以及降低模型输入图像的分辨率。因此，直接利用现有的知识蒸馏技术，无法较好的实现知识转移。

技术实现思路

[0004]本专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度卷积网络的轻量化压缩方法，其特征在于，包括以下步骤：(1)对第一网络模型的输出进行精简，并对第一网络模型的主干网络部分进行剪枝，得到第二网络模型；所述第一网络模型为训练好的深度卷积网络模型；(2)对所述第二网络模型进行基于知识蒸馏和多分辨图像的微调训练；(3)对所述第二网络模型进行模型剪枝，并生成第三网络模型，并对所述第三网络模型进行基于特征空间对齐和知识蒸馏的微调训练，并将训练好的第三网络模型作为最终模型。2.根据权利要求1所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(1)具体包括：(11)保留所述第一网络模型中负责图像特征提取的主干网络部分和必要的检测输出分支部分；(12)对所述主干网络部分进行剪枝，删除掉冗余的网络模型参数，得到所述第二网络模型。3.根据权利要求1所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(2)具体包括：(21)将所述第一网络模型设置为第一教师网络，将所述第二网络模型设置为第一学生网络；(22)利用所述第一教师网络对所述第一学生网络进行训练，并在每轮训练时，混合使用带真值的训练集图像和没有真值标注的图像；(23)计算第一目标损失函数，驱动所述第一学生网络进行反向传播，调整所述第一学生网络的各层权值。4.根据权利要求3所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(22)中利用所述第一教师网络对所述第一学生网络进行训练时，所述第一教师网络的输入为高为H，宽为W的原始图像；所述第一学生网络的输入为按照预设比例分布的与所述第一教师网络的输入相同的原始图像和经过处理的图像；所述经过处理的图像为由输入所述第一教师网络的图像进行N倍下采样，再通过填充操作生成的高为H、宽为W的图像。5.根据权利要求3所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(23)中第一目标损失函数E的数学表达式为：其中，E
hard
为第一学生网络的输出y
s
与训练集图像对应的真值y构成的目标损失函数；E
soft
为第一学生网络的输出y
s
与第一教师网络的输出构成的目标损失函数；其中，y1表示输入为带真值的训练集图像时第一教师网络的输出，y2表示输入为没有真值标注的图像时第一教师网络的输出，μ1和μ2均为加权系数。6.根据权利要求1所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(3)具体包括：(31)对所述第二网络模型进行模型剪枝，生成第三网络模型；(32)将所述第二网络模型作为第二教师模型，将所述第三网络模型作为第二学生模型；(33)利用所述第二教师网络对所述第二学生网络进行训练，并在每轮训练时，混合使
用带真值的训练集图像和没有真值标注的图像；(34)在所述第二教师网络和所述第二学生网络中选取对应的特征图，分别利用像素重组机制对第二学生网络的特征图进行上采样处理，对所述第二教师网络的特征图进行下采样处理，得到两组尺寸对应的特征图集合；(35)针对得到的两组特征图集合中每个特征图，分别计算包含空间和通道上下依赖信息的特征图；(36)计算第二目标损失函数，驱动所述第二学生网络进行反向传播，调整第二学生网络各层权值。7.根据权利要求6所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(33)中利用所述第二教师网络对所述第二学生网络进行训练时，所述第二教师网络的输入为按照预设比例分布的原始图像和经过处理的图像；所述经过处理的图像是对原始图像进行N倍下采样，再通过填充操作生成的高为H、宽为W的图像；所述第二学生网络的输入为对原始图进行N倍下采样的图像。8.根据权利要求6所述的深度卷积网络的轻量化压缩方法，其特征在于，所述步骤(34)具体包括：从所述第二教师网络的主干网络部分选取K个特征图T＝{T1,T2,...,T
i
,...,T
K
}，从所述第二学生网络的主干网络部分选取K个特征图S＝{S1,S2...

【专利技术属性】
技术研发人员：王康如，朱冬晨，李嘉茂，王磊，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：