基于多层级知识蒸馏的去雾模型压缩方法技术

本申请提供一种基于多层级知识蒸馏的去雾模型压缩方法,包括以下步骤：获取样本合成有雾图像以及所述样本合成有雾图像相对应的基准无雾图像，作为目标训练集；对所述目标训练集的数据进行预处理，获得输入特征图像；采用预训练好的去雾模型构建教师网络；通过减少所述教师网络的通道数构建学生网络；对所述学生网络进行训练，通过中间特征变换关系计算FSP矩阵并进一步计算层间损失；通过所述基准无雾图像计算重建损失；通过所述教师网络输出和所述样本有雾图像构建正负样本计算对比损失；固定所述教师网络参数，并通过多层级损失反向传播更新学生网络模型参数，以至少实现减少教师网络通道数生成相对应的轻量化学生网络。络。络。

【技术实现步骤摘要】
基于多层级知识蒸馏的去雾模型压缩方法


[0001]本申请涉及深度学习和图像处理，特别涉及一种基于多层级知识蒸馏的去雾模型压缩方法。

技术介绍

[0002]数字图像处理和计算机视觉近年来在人们的安防监控、移动设备、医疗、智慧交通、航空航天等日常生活诸多领域中发挥着重要的作用。目前大多数的视觉任务主要是围绕着输入的清晰图像进行展开，而在拍摄阶段由于天气条件的影响，当所拍摄场景中存在雾霾时，最终采集到的图像出现严重退质。这是因为在雾霾天气下，空气中的悬浮粒子(雾、霾、水溶胶以及灰尘等)会吸收物体本身的光线同时引发折射和散射现象。因此雾霾天气条件下采集到的图像颜色会偏灰白，细节不清晰，同时对比度以及可识别度下降，从而直接导致图像在诸多领域的应用以及处理效果无法满足所需要求。近年来深度学习在图像去雾领域发挥了重要作用，卷积神经网络(Convolutional Neural Networks，CNN)基于其强大的特征学习能力可以显著提高图像去雾性能，然而当前先进的图像去雾网络模型往往伴随着复杂的网络结构和庞大的模型参数，极大地影响了模型的运行效率，并且难以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层级知识蒸馏的去雾模型压缩方法，其特征在于，所述方法包括以下步骤：获取样本合成有雾图像以及所述样本合成有雾图像相对应的基准无雾图像，作为目标训练集；对所述目标训练集的数据进行预处理，获得输入特征图像；采用预训练好的去雾模型构建教师网络；通过减少所述教师网络的通道数构建学生网络；对所述学生网络进行训练，通过中间特征变换关系计算FSP矩阵并进一步计算层间损失；通过所述基准无雾图像计算重建损失；通过所述教师网络输出和所述样本有雾图像构建正负样本计算对比损失；固定所述教师网络参数，并通过多层级损失反向传播更新学生网络模型参数；获得训练好的学生网络模型，对目标图像进行去雾操作。2.根据权利要求1所述的基于多层级知识蒸馏的去雾模型压缩方法，其特征在于，所述对所述目标训练集的数据进行预处理中，所述预处理包括图像配对、图像裁剪以及数据增广；所述图像配对为将样本清晰图像数据以及所述样本清晰图像数据相对应的合成有雾图像进行逐一对应，形成数据对；所述图像裁剪对目标训练集的训练样本裁剪成240
×
240尺寸；所述数据增广为对目标训练集的训练样本的像素值归一化到[
‑
1,1]之间，同时将裁剪的图像通过随机水平翻转和90
°
旋转进行数据增强。3.根据权利要求2所述的基于多层级知识蒸馏的去雾模型压缩方法，其特征在于，所述通过减少所述教师网络的通道数构建学生网络，其中，所述学生网络和所述教师网络的通道比例为1/n。4.根据权利要求3所述的基于多层级知识蒸馏的去雾模型压缩方法，其特征在于，所述通过中间特征变换关系计算FSP矩阵并进一步计算层间损失的步骤，包括：提取所述教师网络和所述学生网络对应部分的中间特征，其分别表示为T＝{t1,t2,t3,
…
,t
m
}和S＝{s1,s2,s3,
…
,s
m
}；通过一个卷积层和ReLu层将所述学生网络的特征通道数与所述教师网络的特征通道数进行匹配，得到的过渡特征表示为P＝{p1,p2,p3,...,p
m
}；通过L1距离损失函数计算所述教师网络与所述学生网络的中间特征的相似度，层内损失的函数表示为：5.根据权利要求4所述的基于多层级知识蒸馏的去雾模型压缩方法，其特征在于，所述通过中间特征变换关系计算FSP矩阵并进一步计算层间损失的步骤，还包括：采用求解过程流FSP对层间特征变换关系进行建模，FSP矩阵中的各个元素为低层特征和高层特征逐通道做内积的结果，对于任意两个特征图其中h,w分别表示特征图的高度和宽度，c表示特征图的通道数量，FSP矩阵的计算过程如下：
其中i,j分别表示两个...

【专利技术属性】
技术研发人员：吴伟，韩建军，
申请(专利权)人：蜻蜓数字乡村研究院苏州有限公司，
类型：发明
国别省市：