改进的图像融合目标检测方法技术

技术编号:33199043 阅读:26 留言:0更新日期:2022-04-24 00:32
一种改进的图像融合目标检测方法,把YOLOv5目标检测网络作为基础网络进行改进,在YOLOv5目标检测网络中加入了特征融合模块和解耦头预测模块,为网络增加了特征融合能力;采用改进后的YOLOv5目标检测网络对不同类型图像进行融合和检测。本目标检测方法与传统的卷积网络相比,特征提取网络与卷积层、融合层和密集块相结合。本方法在特征提取过程中从源图像中获取更多有用的特征,并采用了两个融合策略来融合特征。最后通过特征重建融合图像。检测头耦合会影响模型性能。本发明专利技术采用轻量解耦头替换YOLO的检测头显著改善了模型收敛速度。本发明专利技术适用于多种类型图像输入的检测,并具有更高效精准的目标检测性能。具有更高效精准的目标检测性能。具有更高效精准的目标检测性能。

【技术实现步骤摘要】
改进的图像融合目标检测方法


[0001]本专利技术涉及目标检测领域,具体涉及一种改进的图像融合目标检测方法。
技术背景
[0002]现有技术中,目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的类别和位置。基于深度学习的目标检测算法主要分为两类Two stage和 One stage。One Stage类的任务流程主要是特征提取

>分类/定位回归。常见的one stage目标检测算法有:OverFeat、YOLOx、SSD和RetinaNet等。
[0003]以典型的YOLOv5来说,分类与定位头的解耦已被广泛应用到单阶段、两阶段检测中。然而,随着YOLO系列的骨干、特征金字塔的进化,单检测头仍处于耦合状态。

技术实现思路

[0004]为了解决上述技术问题,本专利技术采用如下技术方案:
[0005]一种改进的图像融合目标检测方法,把YOLOv5目标检测网络作为基础网络进行改进,在YOLOv5目标检测网络中加入了特征融合模块和解耦头预测模块,为网络增加了特征融合能力;采用改进后的YOLOv5目标检测网络对不同类型图像进行融合和检测;本方法的步骤包括:
[0006]1)搭建PyTorch深度学习框架,其中目标检测网络的配置利用YOLOv5算法;
[0007]2)网络结构设计
[0008]2.1)采用特征融合模块对不同类型图像进行特征融合:
[0009]特征融合模块是基于DenseFuse的特征融合模块,DenseFuse网络架构包括特征提取部分、融合层和特征重建部分:
[0010]特征提取部分包括C1层和DenseBlock层,用于提取深度特征;C1层使用3
ꢀ×
3卷积层提取粗糙特征;DenseBlock层使用3
×
3卷积层提取深度特征,每个层的输出级联为随后的层的输入;
[0011]将不同类型图像分别输入特征提取部分,由特征提取部分分别提取它们的特征图;不同类型图形的特征图再由融合层融合;在融合层中,对特征图执行加法策略或者L1

范数策略;
[0012]特征重建部分使用4个3
×
3卷积层来重构最终融合的图像,每个层的输出级联为随后的层的输入;
[0013]2.2)在YOLOv5目标检测网络中对最终融合的图像进行处理,并采用三个 Decoupled Head解耦头预测模块分别对目标框的类别及预测分数、正负样本和目标框的坐标信息进行预测;最后通过Concat模块把预测结果堆叠到一起输出;
[0014]在每个Decoupled Head解耦头预测模块中,将特征平行分成两路卷积特征,同时提前进行降维处理;
[0015]3)训练网络;
[0016]4)将不同类型图像分别输入训练后的网络模型,经处理后得到目标的检测框。
[0017]本目标检测方法与传统的卷积网络相比,特征提取网络与卷积层、融合层和密集块相结合。本方法在特征提取过程中从源图像中获取更多有用的特征,并采用了两个融合策略来融合特征。最后通过特征重建融合图像。检测头耦合会影响模型性能。本专利技术采用轻量解耦头替换YOLO的检测头显著改善了模型收敛速度。
[0018]本专利技术的适用于多种类型图像输入的检测,并具有更高效精准的目标检测性能。
附图说明
[0019]图1是基于DenseFuse的特征融合模块示意图;
[0020]图2a是加法融合策略图;
[0021]图2b是L1

范数融合策略图;
[0022]图3是Decouple Head解耦头预测模块结构图;
[0023]图4是典型的YOLOv5网络结构图;
[0024]图5是本专利技术改进后的YOLOv5网络结构图。
具体实施方式
[0025]下面结合附图与具体实施方式对本专利技术进一步说明。
[0026]本具体实施方式中,被检测对象是行人,检测方式是由红外激光一体化摄像头采集到红外图像和可见光图像,对这些图像进行检测,从而得到图像中的行人信息。
[0027]在本具体实施方式中,本检测方法的步骤包括:
[0028]步骤1:搭建PyTorch深度学习框架,其中目标检测网络的配置利用YOLOv5 算法。
[0029]步骤2:网络结构设计
[0030](1)基于DenseFuse的特征融合模块
[0031]DenseFuse融合算法是特征级融合方法之一。其对于可见光和红外图像的融合性能对比同类特征级融合方法更优。网络架构包含三个部分:特征提取、融合层和特征重建。如图1所示:
[0032]特征提取部分包含C1层和DenseBlock层,用于提取深度特征。C1层使用3
ꢀ×
3卷积核提取粗糙特征,DenseBlock层也使用3
×
3卷积核提取深度特征,其包含三个卷积层,每个层的输出级联为随后的层的输入,尽可能地保留了所有显著特征。特征重建部分使用4个卷积层来重构最终融合的图像。
[0033]融合层中使用了加法策略或l1‑
Norm+Soft

max运算(基于L1范数和 soft

max运算)策略,如图2a和图2b所示。
[0034]图2a的加法策略为
[0035]其中表示第k种数据的第m通道,m∈{1,2,...,64},k≥2,fm为融合结果,满足:
[0036][0037]图2b的l1‑
Norm+Soft

max运算策略为:
[0038]特征图由表示,作用程度的图像由L1范数和基于平均块的平均算子计算,f
m
表示融合的特征图;L1范数作为特征图的作用程度的度量;
[0039]首先,计算初始作用程度图C
i

[0040]接着,进行范围内的平均:其中r=1 决定一个像素是由以其为中心的3
×
3的范围内进行平均得到;
[0041]然后,生成融合图w
i
(x,y):
[0042][0043][0044](2)Decoupled Head解耦头预测模块
[0045]目前YOLO系列使用的YOLO Head,表达能力有所欠缺,没有Decoupled Head 的表达能力更好。Decouple Head相比于YOLO Head不仅提升了精度,同时加快了网络的收敛速度。但同样增加了运算的复杂度。
[0046]Decouple Head解耦头模块如图3所示。其通过三个分支分别对目标框的类别及预测分数、正负样本、目标框的坐标信息进行预测,最终通过Concat模块堆叠到一起输出。
[0047](3)改进的YOLOv5网络
[0048]本图像融合目标检测方法是以YOLOv5为基础网络进行改进(网络结构图如图4所示),加入了特本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种改进的图像融合目标检测方法,其特征是把YOLOv5目标检测网络作为基础网络进行改进,在YOLOv5目标检测网络中加入了特征融合模块和解耦头预测模块,为网络增加了特征融合能力;采用改进后的YOLOv5目标检测网络对不同类型图像进行融合和检测;本方法的步骤包括:1)搭建PyTorch深度学习框架,其中目标检测网络的配置利用YOLOv5算法;2)网络结构设计2.1)采用特征融合模块对不同类型图像进行特征融合:特征融合模块是基于DenseFuse的特征融合模块,DenseFuse网络架构包括特征提取部分、融合层和特征重建部分:特征提取部分包括C1层和DenseBlock层,C1层提取粗糙特征,DenseBlock层提取深度特征;将不同类型图像分别输入特征提取部分,由特征提取部分分别提取它们的特征图;不同类型图形的特征图再由融合层融合;在融合层中,对特征图执行加法策略或者L1

范数策略;特征重建部分使用卷积层来重构最终融合的图像,每个层的输出级联为随后的层的输入;2.2)在YO...

【专利技术属性】
技术研发人员:张华魏煊吕其修李鸿
申请(专利权)人:江苏集萃未来城市应用技术研究所有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1