超轻量级图片去雾及识别网络模型、图片去雾及识别方法技术

本申请公开了超轻量级图片去雾及识别网络模型，通过该网络模型实现了图片去雾及识别，包括依次相接的双向GAN网络模型以及目标检测网络模型。双向GAN网络模型对雾图进行去雾，输出清晰图至目标检测网络模型进行特征识别处理。目标检测网络模型经过行剪枝重训练，训练过程为对训练集的原始图像进行多次训练，每次训练之前，对原始图像进行预设倍数降采样，每次训练完后，对批归一化层的缩放系数进行排序比较，将其中缩放系数小于预设缩放阈值的通道对应的前一层卷积核去掉，实现剪枝。上述目标检测网络模型在目前微型识别模型的基础上进一步剪枝，极大减小超轻量级图片去雾及识别网络模型的规模，可以部署在算力和功耗资源有限的端侧平台。源有限的端侧平台。源有限的端侧平台。

【技术实现步骤摘要】
超轻量级图片去雾及识别网络模型、图片去雾及识别方法


[0001]本申请涉及图片处理
，尤其涉及超轻量级图片去雾及识别网络模型、图片去雾及识别方法。

技术介绍

[0002]雾霾天气将降低摄像机采集到的图片清晰度，导致计算机难以识别图像中的物体特征。因此在对图像进行识别之前，需先对图片进行去雾处理。目前均可通过神经网络模型来实现图片的去雾处理以及识别处理。
[0003]针对去雾处理，常用的神经网络模型为生成式对抗网络(Generative Adversarial Networks，GAN)，该网络模型采用无监督式学习方法，通过大量的训练数据，学习有雾图片和清晰图片的映射关系，进而对雾图实现去雾。针对识别处理，常用的神经网络模型为YOLO(You Only Look Once)目标检测模型，该网络模型将输入图像划分为S*S个网格，每个网格负责检测中心落在自身内部的物体，通过在输入图像的多个位置上直接回归出目标的回归框以及预测类别，实现对图片物体特征的识别。
[0004]目前的YOLO目标检测模型比较大，在将其应用到图片去雾及识别过程中所得到的神经网络模型，不适合部署在算力和功耗资源有限的端侧平台，比如手机或者自动驾驶相关设备上。

技术实现思路

[0005]为了解决目前的YOLO目标检测模型比较大，在将其应用到图片去雾及识别过程中所得到的神经网络模型，不适合部署在算力和功耗资源有限的端侧平台的问题，本申请通过以下实施例公开了超轻量级图片去雾及识别网络模型、图片去雾及识别方法。
[0006]本申请第一方面公开了一种超轻量级图片去雾及识别网络模型，包括：依次相接的双向GAN网络模型以及目标检测网络模型；
[0007]所述双向GAN网络模型用于对输入的待去雾图片进行处理，并输出清晰图片，所述目标检测网络模型用于对所述清晰图进行特征识别处理；
[0008]所述目标检测网络模型为经过行剪枝重训练的Yolo
‑
Tiny
‑
S网络模型；所述行剪枝重训练过程中，对目标检测网络模型训练集中的原始图像进行多次训练，每次训练之前，对所述原始图像进行预设倍数的降采样，每次训练完成之后，针对批归一化层的缩放系数进行排序比较，将其中缩放系数小于预设缩放阈值的通道对应的前一层卷积核去掉，实现剪枝；
[0009]所述目标检测网络模型包括特征直接处理模块以及特征融合处理模块，所述特征直接处理模块包括依次相连的前部提取单元、中部提取单元以及第一后部提取单元，所述清晰图通过所述前部提取单元输入至所述目标检测网络模型中，所述特征融合处理模块包括依次相连的特征融合拼接单元以及第二后部提取单元，所述前部提取单元与所述中部提取单元的输出端均接至所述特征融合拼接单元的输入端。
[0010]可选的，所述前部提取单元包括依次连接的一个DBL
‑
S组合子单元及多个MDBL
‑
S组合子单元；
[0011]所述中部提取单元包括依次连接的多个所述MDBL
‑
S组合子单元及一个所述DBL
‑
S组合子单元；
[0012]所述第一后部提取单元及所述第二后部提取单元均包括依次连接的一个所述DBL
‑
S组合子单元及一个卷积子单元；
[0013]所述特征融合拼接单元包括上采样子单元和特征拼接子单元，所述上采样子单元的输入端与所述所述中部提取单元的输出端相连，所述上采样子单元的输出端与所述前部提取单元的输出端接至所述特征拼接子单元的输入端；
[0014]所述DBL
‑
S组合子单元由依次连接的暗网络卷积层、批归一化层及泄露修正线性层组成；
[0015]所述MDBL
‑
S组合子单元由依次连接的最大池化层及所述DBL
‑
S组合子单元组成。
[0016]可选的，所述双向GAN网络模型包括输入模块、生成模块及判别模块；
[0017]所述输入模块包括清晰图输入端口及雾图输入端口，所述生成模块包括第一生成单元及第二生成单元，所述判别模块包括第一判别器及第二判别器；
[0018]所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接，用于针对清晰图进行特征提取及重建，所述雾图输入端口、所述第二生成单元及所述第二判别器依次连接，用于针对雾图进行特征提取及重建；
[0019]所述第一生成单元包括依次连接的第一编码器、共享潜在空间及第一解码器，所述第二生成单元包括依次连接的第二编码器、所述共享潜在空间及第二解码器；
[0020]所述共享潜在空间用于存储高层特征，并将所述高层特征输出至所述第一解码器及所述第二解码器，所述高层特征包括所述第一编码器针对清晰图提取的高层特征以及所述第二编码器针对雾图提取的高层特征；
[0021]所述双向GAN网络模型的训练集及验证集中均包括成对的清晰图及雾图。
[0022]可选的，所述第一编码器及所述第二编码器分别包括依次连接的第一卷积块、第二卷积块及第一耦合残差块；
[0023]所述第一解码器及所述第二解码器分别包括依次连接的第二耦合残差块、第一步长卷积块及第二步长卷积块；
[0024]所述第一耦合残差块的输出端接至所述共享潜在空间的输入端，所述共享潜在空间的输出端接至所述第二耦合残差块的输入端；
[0025]所述第一卷积块的输出端跳变连接至所述第二步长卷积块的输入端；
[0026]所述第二卷积块的输出端跳变连接至所述第一步长卷积块的输入端。
[0027]可选的，所述第一耦合残差块及所述第二耦合残差块分别由多个子残差块级联组成；
[0028]任一级所述子残差块包括依次连接的第一卷积层、激活函数层及第二卷积层，用于处理上一级子残差块的输出结果以及上上一级子残差块的输出结果，并把处理结果输出至下一级子残差块以及下下一级子残差块。
[0029]可选的，所述第一判别器及所述第二判别器均包括三层判别网络及一层粒度判别网络，任一层所述判别网络包含三个卷积层和一个激活函数层。
[0030]可选的，所述双向GAN网络模型通过以下损失函数进行优化：生成对抗损失函数、MSE损失函数及总变分损失函数。
[0031]本申请第二方面公开了一种图片去雾及识别方法，所述方法包括：
[0032]提取待去雾图片中不同像素对应的深度信息；
[0033]根据所述深度信息，对所述待去雾图片进行深度处理；
[0034]将深度处理后的所述待去雾图片输入至预先构建的超轻量级图片去雾及识别网络模型中；
[0035]获取所述超轻量级图片去雾及识别网络模型输出的图片去雾及识别结果。
[0036]可选的，所述提取待去雾图片中不同像素对应的深度信息，包括：
[0037]对所述待去雾图片进行格式转换，提取出所述待去雾图片的亮度和饱和度；
[0038]根据所述亮度和饱和度，生成所述待去雾图片中不同像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超轻量级图片去雾及识别网络模型，其特征在于，包括：依次相接的双向GAN网络模型以及目标检测网络模型；所述双向GAN网络模型用于对输入的待去雾图片进行处理，并输出清晰图片，所述目标检测网络模型用于对所述清晰图进行特征识别处理；所述目标检测网络模型为经过行剪枝重训练的Yolo
‑
Tiny
‑
S网络模型；所述行剪枝重训练过程中，对目标检测网络模型训练集中的原始图像进行多次训练，每次训练之前，对所述原始图像进行预设倍数的降采样，每次训练完成之后，针对批归一化层的缩放系数进行排序比较，将其中缩放系数小于预设缩放阈值的通道对应的前一层卷积核去掉，实现剪枝；所述目标检测网络模型包括特征直接处理模块以及特征融合处理模块，所述特征直接处理模块包括依次相连的前部提取单元、中部提取单元以及第一后部提取单元，所述清晰图通过所述前部提取单元输入至所述目标检测网络模型中，所述特征融合处理模块包括依次相连的特征融合拼接单元以及第二后部提取单元，所述前部提取单元与所述中部提取单元的输出端均接至所述特征融合拼接单元的输入端。2.根据权利要求1所述的一种超轻量级图片去雾及识别网络模型，其特征在于，所述前部提取单元包括依次连接的一个DBL
‑
S组合子单元及多个MDBL
‑
S组合子单元；所述中部提取单元包括依次连接的多个所述MDBL
‑
S组合子单元及一个所述DBL
‑
S组合子单元；所述第一后部提取单元及所述第二后部提取单元均包括依次连接的一个所述DBL
‑
S组合子单元及一个卷积子单元；所述特征融合拼接单元包括上采样子单元和特征拼接子单元，所述上采样子单元的输入端与所述所述中部提取单元的输出端相连，所述上采样子单元的输出端与所述前部提取单元的输出端接至所述特征拼接子单元的输入端；所述DBL
‑
S组合子单元由依次连接的暗网络卷积层、批归一化层及泄露修正线性层组成；所述MDBL
‑
S组合子单元由依次连接的最大池化层及所述DBL
‑
S组合子单元组成。3.根据权利要求1所述的一种超轻量级图片去雾及识别网络模型，其特征在于，所述双向GAN网络模型包括输入模块、生成模块及判别模块；所述输入模块包括清晰图输入端口及雾图输入端口，所述生成模块包括第一生成单元及第二生成单元，所述判别模块包括第一判别器及第二判别器；所述清晰图输入端口、所述第一生成单元及所述第一判别器依次连接，用于针对清晰图进行特征提取及重建，所述雾图输入端口、所述第二生成单元及所述第二判别器依次...

【专利技术属性】
技术研发人员：王中风，王美琪，苏天祺，陈思依，林军，
申请(专利权)人：南京大学，
类型：发明
国别省市：