一种基于Yolov4的多光谱目标检测方法技术

本发明专利技术提出了一种基于Yolov4的多光谱目标检测方法，用以解决照明不良情况下的检测效果不良的问题。其步骤为：首先，制作可见光数据集以及对应的红外数据集，并对数据集进行预处理、增强及融合操作；其次，利用改进后的Yolov4网络对得到的最终的可见光数据集和红外数据集进行训练，得到目标检测模型；最后，将实时采集的多光谱图像输入步骤五中的目标检测模型，输出预测的目标位置。本发明专利技术能够检测出更多的小目标，且目标测速度得到提升；通过TMDF模块能够提升特征图在夜间的检测效果；利用mobilenetV3代替了CSPdarknet53，极大的减少了模型所需的参数，减轻模型的计算量，减少了对硬件的依赖，提高了模型的训练检测效率。提高了模型的训练检测效率。提高了模型的训练检测效率。

【技术实现步骤摘要】
一种基于Yolov4的多光谱目标检测方法


[0001]本专利技术涉及目标检测
，特别是指一种基于Yolov4的多光谱目标检测方法。

技术介绍

[0002]目标检测是一种基于目标几何和统计特征的图像分隔，即在图像中找出所感兴趣的物体，包括物体定位和物体分类，同时确定物体的类别与位置，在日常生活及工作中，它实现了图像与文字、数字等精细类别的交互，因此被广泛应用于智能化交通、监控及医疗等系统中。
[0003]早期目标检测是采用采用滑动窗口的方法在图像上选择不同尺寸的候选区域，然后采用手工设计的特征对候选区域进行特征提取，最后使用训练好的分类器进行分类。早在2001年，Paul Viola和Michael J.Jones利用哈尔特征描述人脸不同区域的特征，建立积分图像，并利用Adaboost算法进行分类训练，最后经过非极大值抑制算法(Non
‑
maximum uppression，NMS)得到人脸的检测结果。2005年，Dalal等人设计了方向梯度直方图(Histogram of Oriented Gradient，HOG)来统计物体的梯度和边缘方向信息，应用于行人检测。之后，在HOG算法的基础上，Felzenszwalb等人提出了可变形组件模型用于行人检测，即DPM(Deformable Parts Model)算法，它利用一个较大的根滤波器和若干较小的组件滤波器分别获取目标的整体和部件响应图，并与模板匹配得到最终的行人检测结果。DMP作为传统目标检测在物体分割、行为分类等方面得到广泛应用与肯定。
[0004]然而，传统目标检测算法存在一些弊端，一方面滑动窗口的区域选择方法对整幅图片进行遍历，会产生较多的冗余窗口，因此该部分时间复杂度较高，无法满足实时的应用需求，另外基于手工设计的特征往往只针对特定场景的目标物体，因此模型泛化能力较差。随着计算机运算能力的不断提升，基于深度学习的目标检测算法也如雨后春笋般层出不穷，经典的基于深度学习的目标检测算法可大致分两阶段的目标检测算法及单阶段的目标检测算法，随着人们需求的增强，传统的单一模态RGB图像不能完成在复杂情况下的信息处理。这时，多模态输入就体现出了优势，因为光谱图像能够检测物质的光辐射，并揭示目标物体的基本颜色属性，以避免同色异谱模糊，热图像可以基于物体的热辐射差异来捕获，这不依赖于外部光源，而飞行时间传感器提供目标场景的额外深度信息，最常见的不平衡问题是前景对背景的不平衡。例如，在多任务损失最小化中，不平衡问题存在，因为梯度的规范不同，损失函数的范围也不同。常见的解决方案是在每个损失函数上添加系数，以指导平衡的优化过程。同样，多光谱检测中的模态不平衡问题对算法性能有很大影响。
[0005]Yolov算法实现了速度与精度的完美配合，它在目标检测中可以发挥巨大作用，它可以在一张图片中识别多个不同种类的物体及将每个物体分割处理，得到每个物体的大小及尺寸，简而言之就是快速从一张图片中准确获取目标，在yolov目标检测的基础上，yolov
‑
4采用了最优化的策略，可以更加提高CNN的准确性。

技术实现思路

[0006]针对上述
技术介绍
中的不足，本专利技术提出了一种基于Yolov4的多光谱目标检测方法，采用多模态特征融合的方法，解决照明不良情况下的检测效果不良的问题。
[0007]本专利技术的技术方案是这样实现的：
[0008]一种基于Yolov4的多光谱目标检测方法，其步骤如下：
[0009]步骤一：数据集的获取：利用多光谱摄像头获取并制作可见光数据集以及对应的红外数据集；
[0010]步骤二：图像预处理：分别对可见光数据集和红外数据集中的图像进行自适应图片分割，并将分割后的图像统一缩放到标准尺寸；
[0011]步骤三：数据增强：利用Mosaic数据增强方式对标准尺寸的图像进行增强操作，得到增强后的可见光数据集和红外数据集；
[0012]步骤四：数据融合：采用TMDF模块对增强后的可见光数据集和红外数据集进行融合，分别得到最终的可见光数据集和红外数据集；
[0013]步骤五：模型训练：利用改进后的Yolov4网络对步骤四中得到的最终的可见光数据集和红外数据集进行训练，得到目标检测模型；所述改进后的Yolov4网络是：将Yolov4网络中的CSPdarknet53替换为mobilenetV3，将Yolov4网络中的PANet替换为DSPANet；
[0014]步骤六：模型预测：将实时采集的多光谱图像输入步骤五中的目标检测模型，输出预测的目标位置。
[0015]优选地，所述采用TMDF模块对增强后的可见光数据集和红外数据集进行融合的方法为：
[0016][0017][0018]其中，F
l
'为TMDF模块处理过的可见光图像，F
l
为增强后的可见光图像，F
v
为增强后的红外图像，F
v
'为TMDF模块处理过的红外图像，F
D
为可见光图像与红外图像的差异特征图，GSP(
·
)表示全局平均池化操作，表示元素相加操作，
⊙
表示逐元素相乘操作。
[0019]优选地，所述mobilenetV3网络包括CSP
‑
bneckI、CSP
‑
bneckII、CSP
‑
bneckIII和CSP
‑
bneckIV，CSP
‑
bneckI的输入与Conv2的输出相连接，Conv2的输入为输入图像，CSP
‑
bneckI的输出与CSP
‑
bneckII的输入相连接，CSP
‑
bneckII的输出分别与DSPANet的输入、CSP
‑
bneckIII的输入相连接，CSP
‑
bneckIII的输出分别与DSPANet的输入、CSP
‑
bneckIV的输入相连接，CSP
‑
bneckIV的输出与第一卷积模块的输入相连接，第一卷积模块的输出与SPP的输入相连接，SPP的输出与Concat
‑
I的输入相连接，Concat
‑
I的输出与DSPANet的输入相连接。
[0020]优选地，所述CSP
‑
bneckI、CSP
‑
bneckII、CSP
‑
bneckIII和CSP
‑
bneckIV的结构均包括CBM
‑
I、bneck组、CBM
‑
II、Concat
‑
II、CBM
‑
III和CBM
‑
IV；CBM
‑
I与bneck组相连接，bneck组与CBM
‑
II相连接，CBM
‑
II、CBM
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Yolov4的多光谱目标检测方法，其特征在于，其步骤如下：步骤一：数据集的获取：利用多光谱摄像头获取并制作可见光数据集以及对应的红外数据集；步骤二：图像预处理：分别对可见光数据集和红外数据集中的图像进行自适应图片分割，并将分割后的图像统一缩放到标准尺寸；步骤三：数据增强：利用Mosaic数据增强方式对标准尺寸的图像进行增强操作，得到增强后的可见光数据集和红外数据集；步骤四：数据融合：采用TMDF模块对增强后的可见光数据集和红外数据集进行融合，分别得到最终的可见光数据集和红外数据集；步骤五：模型训练：利用改进后的Yolov4网络对步骤四中得到的最终的可见光数据集和红外数据集进行训练，得到目标检测模型；所述改进后的Yolov4网络是：将Yolov4网络中的CSPdarknet53替换为mobilenetV3，将Yolov4网络中的PANet替换为DSPANet；步骤六：模型预测：将实时采集的多光谱图像输入步骤五中的目标检测模型，输出预测的目标位置。2.根据权利要求1所述的基于Yolov4的多光谱目标检测方法，其特征在于，所述采用TMDF模块对增强后的可见光数据集和红外数据集进行融合的方法为：见光数据集和红外数据集进行融合的方法为：其中，F
′
l
为TMDF模块处理过的可见光图像，F
l
为增强后的可见光图像，F
v
为增强后的红外图像，F
′
v
为TMDF模块处理过的红外图像，F
D
为可见光图像与红外图像的差异特征图，GSP(
·
)表示全局平均池化操作，表示元素相加操作，
⊙
表示逐元素相乘操作。3.根据权利要求1所述的基于Yolov4的多光谱目标检测方法，其特征在于，所述mobilenetV3网络包括CSP
‑
bneckI、CSP
‑
bneckII、CSP
‑
bneckIII和CSP
‑
bneckIV，CSP
‑
bneckI的输入与Conv2的输出相连接，Conv2的输入为输入图像，CSP
‑
bneckI的输出与CSP
‑
bneckII的输入相连接，CSP
‑
bneckII的输出分别与DSPANet的输入、CSP
‑
bneckIII的输入相连接，CSP
‑
bneckIII的输出分别与DSPANet的输入、CSP
‑
bneckIV的输入相连接，CSP
‑
bneckIV的输出与第一卷积模块的输入相连接，第一卷积模块的输出与SPP的输入相连接，SPP的输出与Concat
‑
I的输入相连接，Concat
‑
I的输出与DSPANet的输入相连接。4.根据权利要求3所述的基于Yolov4的多光谱目标检测方法，其特征在于，所述CSP
‑
bneckI、CSP
‑
bneckII、CSP
‑
bneckIII和CSP
‑
bneckIV的结构均包括CBM
‑
I、bneck组、CBM
‑
II、Concat
‑
II、CBM
‑
III和CBM
‑
IV；CBM
‑
I与bneck组相连接，bneck组与CBM
‑
II相连接，CBM
‑
II、CBM
‑
IV均...

【专利技术属性】
技术研发人员：党佳，焦战威，董敏，孙钢灿，吴嫚，
申请(专利权)人：郑州海威光电科技有限公司，
类型：发明
国别省市：