一种轻量级图像、视频数据的实时目标检测方法及装置制造方法及图纸

本发明专利技术涉及一种轻量级图像、视频数据的实时目标检测方法及装置，属于计算机视觉技术领域。本发明专利技术通过在YOLO-Lite的骨干网络基础上添加残差块和并行连接，将深层特征和浅层特征进行融合，输出不同尺度特征图，实现了原始特征的最大利用；同时，对不同尺度的特征图进行融合，并在不同尺度特征图均生成其对应的预测结果，同时通过极大值抑制选择最优结果。本发明专利技术相比YOLOv3结构更浅更窄，其可训练参数更少、计算量显著降低，运行速度更快，同时与YOLO-Lite相比在运行速度相对降低的情况下，检测精度大幅提高，降低了对硬件设备的要求。降低了对硬件设备的要求。降低了对硬件设备的要求。

【技术实现步骤摘要】
一种轻量级图像、视频数据的实时目标检测方法及装置


[0001]本专利技术涉及一种轻量级图像、视频数据的实时目标检测方法及装置，属于计算机视觉


技术介绍

[0002]近年来，基于卷积神经网络的目标检测一直是计算机视觉领域的热门研究方向，聚焦于目标定位和分类，其成果可广泛应用于人脸识别、姿态预测及多种智能应用领域。当前，卷积神经网络结构朝着更深更复杂的方向发展，虽然在精度上已经可以达到甚至超越人类视觉的水平，但往往有着巨大的运算量和超高的能源消耗，使得在许多无GPU和移动设备中不方便使用。随着无人驾驶汽车、小型智能无人机、增强现实眼镜等计算能力和功耗有限的嵌入式和移动智能设备的发展，轻量化和实时性网络模型成为移动端卷积神经网络目标检测技术的关键研究内容。
[0003]最近的研究表明，部分研究人员聚焦于通过构建越来越复杂的神经网络提高检测的准确率如ResNet(Deep Residual Networks)、YOLOv3、HRNet(High-Resolution Network)等，还有些通过对各种结构优化构建小型高效的轻量化神经网络如MobileNetV1、MobileNetV2、Tiny-YOLO、YOLO-Lite、MTYOLO等。YOLO系列和SSD系列基于回归方法的端到端深度学习目标检测方法在保持相对较高的平均准确率情况下，在GPU计算机上实现了实时目标检测，但由于其计算量较大，难以在计算能力有限的无GPU计算机和便携式设备上实现实时性准确检测。

技术实现思路

[0004]本专利技术的目的是提供一种轻量级图像、视频数据的实时目标检测方法及装置，以解决目前实时目标检测存在的计算复杂、计算量大的问题。
[0005]本专利技术为解决上述技术问题而提供一种轻量级图像、视频数据的实时目标检测方法，该检测方法包括以下步骤：
[0006]1)获取待检测的数据；
[0007]2)将待检测的数据输入到完成训练的目标检测模型中，得到待检测数据中的目标识别结果；所述的目标检测模型包括特征提取部分和检测端部分，所述特征提取部分采用YOLO-Lite网络，且YOLO-Lite网络中增设有残差块和并行连接结构，用于将YOLO-Lite网络得到深层特征和浅层特征进行融合，以输出不同尺度特征的特征图；所述检测端部分包括卷积层和拼接层，用于对特征提取部分得到的不同尺度的特征图进行融合，并在不同尺度特征图均生成其对应的预测结果。
[0008]本专利技术还提供了一种轻量级图像、视频数据的实时目标检测装置，该检测装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现本专利技术的轻量级图像、视频数据的实时目标检测方法。
[0009]本专利技术通过在YOLO-Lite的骨干网络基础上添加残差块和并行连接结构，将深层特征和浅层特征进行融合，输出不同尺度特征图，实现了原始特征的最大利用；同时，对不同尺度的特征图进行融合，并在不同尺度特征图均生成其对应的预测结果。本专利技术相比YOLOv3结构更浅更窄，其可训练参数更少、计算量显著降低，运行速度更快，同时与YOLO-Lite相比在运行速度相对降低的情况下，检测精度大幅提高，降低了对硬件设备的要求。
[0010]进一步地，所述的特征部分包括3
×
3卷积层、1
×
1卷积层、残差块、上采样层和池化层，3
×
3卷积层用于对图像数据进行特征提取，池化层设置在卷积层之间，用于对提取的特征进行重采样，以降低卷积层提取的特征维度，残差块用于将浅层特征不断向深层传递，上采样层用于恢复图像的尺寸。
[0011]进一步地，所述的残差块包括1个1
×
1卷积层和1个3
×
3卷积层。
[0012]进一步地，所述的并行连接结构用于将深层特征与浅层特征在在多个尺度进行多分辨率重建，使得多个尺度的特征图都同时具有深层特征与浅层特征。
[0013]进一步地，所述的检测部分包括三个检测模块，每个检测模块均包括有卷积层和拼接层，每个检测模块的拼接层的输入分别连接特征提取部分的不同卷积层和池化层，以实现不同尺度的特征图融合。
附图说明
[0014]图1是本专利技术实时目标检测方法所采用的Mixed YOLOv3-Lite网络结构示意图；
[0015]图2是本专利技术所采用的残差块的结构示意图；
[0016]图3本专利技术所采用的HRNet网络结构示意图；
[0017]图4是本专利技术在PASCAL VOC 2007测试集上的部分检测结果示意图；
[0018]图5本专利技术与现有检测模型在VisDrone 2018-Det数据集上的效果对比图；
[0019]图6-a是本专利技术在VisDrone2018-Det Val上静态图像检测结果示意图；
[0020]图6-b是本专利技术在VisDrone2018-Det Val上动态图像检测结果示意图；
[0021]图6-c是本专利技术在VisDrone2018-Det Val上正射图像检测结果示意图；
[0022]图6-d是本专利技术在VisDrone2018-Det Val上光线不好的图像检测结果示意图。
具体实施方式
[0023]下面结合附图对本专利技术的具体实施方式作进一步地说明。
[0024]检测方法的实施例
[0025]本专利技术现有的各种目标检测算法的基础上，为了减少计算量，方便在无GPU的条件下或者便携式设备上使用，提出了一种新的轻量级图像、视频数据实时目标检测方法，该检测方法采用Mixed YOLOv3-Lite网络，该网络是以YOLO-Lite网络为基础的。其中YOLO-Lite网络是一种“浅而窄(Shallow Network and Narrow Channel)”的网络，计算量和参数量较深层网络有本质上的缩减，对于网络的检测速度提升显著。YOLO-Lite的骨干网络一般是由7个卷积层和5个最大池化层构成，其结构如表1所示，包括：6个3
×
3卷积层、1个1
×
1卷积层和5个最大池化层构成，其中3
×
3卷积层用于进行特征提取，1
×
1卷积层用对提取的特征进行降维，池化层用于特征压缩。
[0026]表1
[0027][0028]虽然YOLO-Lite网络计算量和参数量较少，处理速率大大提高，但是准确度确比较低，本专利技术是在YOLO-Lite网络的基础上增加resblock(残差块)和HRNet的并行连接结构。具体而言，如图1所示，本专利技术的采用Mixed YOLOv3-Lite网络包括特征提取部分和检测端部分，其中特征提取部分是在YOLO-Lite的骨干网络基础上添加resblock和HRNet的并行连接结构形成的，包括12个3
×
3卷积层、1个1
×
1卷积层、3个残差块、3个上采样层和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级图像、视频数据的实时目标检测方法，其特征在于，该检测方法包括以下步骤：1)获取待检测的数据；2)将待检测的数据输入到完成训练的目标检测模型中，得到待检测数据中的目标识别结果；所述的目标检测模型包括特征提取部分和检测端部分，所述特征提取部分采用YOLO-Lite网络，且YOLO-Lite网络中增设有残差块和并行连接结构，用于将YOLO-Lite网络得到深层特征和浅层特征进行融合，以输出不同尺度特征的特征图；所述检测端部分包括卷积层和拼接层，用于对特征提取部分得到的不同尺度的特征图进行融合，并在不同尺度特征图均生成其对应的预测结果。2.根据权利要求1所述的轻量级图像、视频数据的实时目标检测方法法，其特征在于，所述的特征提取部分包括3
×
3卷积层、1
×
1卷积层、残差块、上采样层和池化层，3
×
3卷积层用于对图像数据进行特征提取，池化层设置在卷积层之间，用于对提取的特征进行重采样，以降低卷积层提取的特征维度，残差块用于将浅层特征不断向深层传递，...

【专利技术属性】
技术研发人员：周杨，赵海鹏，彭杨钊，胡校飞，彭豪杰，蔡心悦，张龙，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：