低质量输入图像的人体目标检测方法技术

一种低质量输入图像的人体目标检测方法，步骤包括：1)对输入图像进行超分辨率重构与降噪处理：采用VDSR模型，使用深度神经网络模型来进行模型预测；然后结合残差学习来进行成像数据的超分辨率重构与降噪；2)以步骤1)处理得到图像为输入图像，采用卷积神经网络技术进行人体目标检测。本发明专利技术可实现人体目标检测准确率优于90％。率优于90％。率优于90％。

【技术实现步骤摘要】
低质量输入图像的人体目标检测方法


[0001]本专利技术涉及目标检测
，具体是一种低质量输入图像的人体目标检测方法。

技术介绍

[0002]采用神经网络对图像进行处理是神经网络的典型应用。由于神经网络自身特点，如果图像自身的分辨率、信噪比都不高的情况下，需要人工干预其学习过程，否则检测准确性很低。
[0003]在实际应用时候，镜头与目标之间有透光度不高透明屏障或镜头本身物理模糊时候，采集图像分辨率和信噪都很低的时候，采用典型的目标检测网络YOLOv4，其准确率和鲁棒性都很差，无法满足实时准确的目标检测效果。

技术实现思路

[0004]为了解决低质量图像的高效的人体目标检测问题，本专利技术提出一种低质量输入图像的人体目标检测方法，本方法采用典型的的目标检测网络YOLOv4，对低分辨率、低信噪图像进行人体目标检测，步骤包括：
[0005]1、采用图像超分辨重建与降噪的图像质量增强方法，解决图像信噪比低的问题。
[0006]2、基于YOLOv4目标检测网络实现对人体目标的检测。
[0007]下面结合技术原理对本专利技术的技术效果进行说明：
[0008]步骤1中，超分辨率重构与降噪技术
[0009]以距离选通成像对照射场景产生多帧图像为例，照射能量会分散到各个帧中，导致图像清晰度下降，如图3a和图3b所示。针对每层人体目标图像清晰度不强、信噪比较低的特点，基于深度学习和卷积神经网络，采用超分辨重建与降噪技术，解决激光照射下选通成像分辨率较低、信噪比较差的问题。
[0010]本专利技术基于VDSR模型，使用非常深的神经网络模型来进行模型预测，然后结合残差学习来进行距离选通成像数据的超分辨率重构与降噪，处理流程图如图1所示。
[0011]一方面，使用了带padding形式的卷积，使得输入与输出的尺寸保持一致，使得中间的网络模型层的可变空间非常的大，模型使用非常的自由；
[0012]另一方面，使用了残差学习的方法，直接预测超分的残差，极大地加速了模型的训练过程，也使得最终输出中保留的细节较好。
[0013]对比距离选通成像数据与传统低分辨率光学数据的特点，基于VDSR模型，本方法预期能使距离选通成像数据的峰值信噪比提升约30％，可为后续的目标检测等应用提供可靠的数据支撑。
[0014]步骤2中，基于卷积神经网络的人体目标检测技术
[0015]利用图像超分辨率重建与降噪技术获取的图像中人体目标轮廓清晰、同时具有一定的纹理信息，因此，本方明采用人工智能领域的研究热点——卷积神经网络开展研究。
[0016]兼顾算法高精度、高效率以及模型轻量化等需求，本技术方案中基于YOLO
‑
V4网络实现选通成像数据中人体目标的检测，处理流程图如图2所示。采用单独端到端网络，通过卷积神经网络获取选通成像的卷积层和全连接层，利用卷积层直接提取人体特征，利用全连接层直接得到图像中所有物体的位置和其所属类别及相应的置信概率。
[0017]基于YOLO
‑
V4网络的目标检测技术在光学数据集上测试的性能为66％的AP值(MS COCO数据集：328,000张图像，91类/超过150万个目标)。由于选通成像数据背景干扰更小，且人体目标特征信息明显，本专利技术可实现人体目标检测准确率优于90％。
附图说明
[0018]图1是基于VDSR模型的图像超分辨率重构与降噪技术处理流程图；
[0019]图2是基于YOLO
‑
V4网络的人体目标检测技术处理流程图；
[0020]图3a是复杂环境场景图像；
[0021]图3b是背景暗淡场景图像。
具体实施方式
[0022]本例以无人机载距离选通成像设备透射建筑物玻璃幕墙环境下获取的室内图像为例，采用本专利技术的人体目标检测方法进行检测，步骤包括：
[0023]1、采用图像超分辨重建与降噪的图像质量增强方法，解决图像信噪比低的问题。
[0024]2、基于YOLOv4目标检测网络实现对人体目标的检测。
[0025]参考图1，所述步骤1中：
[0026]1)数据预处理：
[0027]首先将图像进行插值得到ILR图像，在将其输入网络，网络是基于V6619的，利用19组conv+relu层，每个conv采用的filter规格为3*3*64。
[0028]2)模型训练：
[0029]2.1)低清图像与高清图像相似度高，直接学习两者间的映射会引入大量的冗余计算，其实低清图像与高清图像的主要差别在于高频部分，所以只需学习二者之间的高频残差即可，这就自然的引入了残差学习。
[0030]2.2)网络用深达20层的卷积网络学习插值后的低清图像与高清图像之间的残差，并在最后一层将残差与低清图像相加得到输出。为了保证图像的大小始终与高清图像保持一致，每个卷积层都使用了等大小填充。
[0031]2.3)为了防止梯度爆炸与梯度消失，引入动态的θ，并且这个θ和学习率γ成反比，梯度限制在θ是限制梯度范围的超参数。
[0032]2.4)采用多尺度模型训练，即在每个批次中有不同seale的图像，参数共享在所有预定义的尺度中。
[0033]3)图像增强：
[0034]利用训练好的模型对低质量输入图像进行超分辨重构与降噪处理。
[0035]参考图2，所述步骤2中：
[0036]1)处理训练集：
[0037]1.1)将采集设备获得的图片数据集格式转化为适合YOLOv4训练的xml格式；
[0038]1.2)然后把数据集划分为训练集和测试集两大部分；
[0039]2)搭建PyTorch深度学习框架，其中深度学习模型的配置利用YOLOv4算法：
[0040]2.1)利用输入端的Mosaic数据增强、自适应锚框计算和自适应图片放缩对图片数据进行预处理操作；
[0041]2.2)利用Backbone主干网络中的Focus结构、CSP结构和SPP结构进行网络特征提取；
[0042]2.3)通过Neck的FPN+PAN结构加强网络特征融合的能力；
[0043]2.4)利用输出端Prediction进行特征大小输出，按照图像网格划分得到参数矩阵。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低质量输入图像的人体目标检测方法，其特征是步骤包括：1)对输入图像进行超分辨率重构与降噪处理：采用VDSR模型，使用深度神经网络模型来进行模型预测；然后结合残差学习来进行成像数据的超分辨率重构与降噪；步骤包括：1.1)数据预处理：将图像进行插值得到实例级识别ILR图像，再将图像输入网络；1.2)模型训练；1.3)图像增强：利用训练好的模型对低质量输入图像进行超分辨重构与降噪处理；2)以步骤1)处理得到图像为输入图像，采用卷积神经网络技术进行人体目标检测；基于YOLO
‑
V4网络实现选通成像数据中人体目标的检测，通过卷积神经网络获取选通成像的卷积层和全连接层，利用卷积层直接提取人体特征，利用全连接层直接得到图像中所有物体的位置和其所属类别及相应的置信概率。2.根据权利要求1所述的低质量输入图像的人体目标检测方法，其特征是所述步骤1)中，步骤1.1)中，网络基于VGG19，利用19组conv+relu层，每个conv采用的filter规格为3
×3×
64。3.根据权利要求1所述的低质量输入图像的人体目标检测方法，其特征是所述步骤1.2)中，1.2.1)低清图像与高清图像相似度高，直接学习两者间的映射引入冗余计算，而低清图像与高清图像的差...

【专利技术属性】
技术研发人员：张华，何智亮，周磊，李鸿，
申请(专利权)人：江苏集萃未来城市应用技术研究所有限公司，
类型：发明
国别省市：