一种基于多尺度特征融合的目标检测方法技术

本发明专利技术具体涉及一种基于多尺度特征融合的目标检测方法，包括：构建目标检测模型并进行训练；获取待检测目标的图像数据；将待检测目标的图像数据输入经过训练的目标检测模型中；首先基于图像数据提取多尺度的特征图；然后通过逐层特征融合和反馈特征融合的方式对低层特征图进行充分融合，得到对应的低层融合特征图；再通过注意力机制仅对高层特征图进行融合更新，得到对应的高层融合特征图；最后基于低层融合特征图和高层融合特征图生成对应的多尺度融合特征图；基于多尺度融合特征图完成目标检测。本发明专利技术中基于多尺度特征融合的目标检测方法能够充分融合尺度特征并保证小目标的检测效果，从而能够提升目标检测的准确性和效果。和效果。和效果。

【技术实现步骤摘要】
一种基于多尺度特征融合的目标检测方法


[0001]本专利技术涉及目标检测
，具体涉及一种基于多尺度特征融合的目标检测方法。

技术介绍

[0002]目标检测技术是计算机视觉领域的一大核心研究方向，旨在获取图像中感兴趣目标的所属分类和所在位置。目标检测技术不仅是目标跟踪、语义分割等诸多计算机视觉任务的研究基础，也被广泛应用于医学诊断、自动驾驶、智能视频监控、军事目标监测等多种民用和军用领域。随着应用场景的多元化和复杂化，一张待检图像中会包含多个不同尺度的目标，这使得现阶段的目标检测任务面临着尺度差异带来的严峻挑战。因此，多尺度目标检测也因此成为了目标检测领域的研究热点之一。
[0003]针对现有目标检测方法特征信息利用率不高的问题，公开号为CN113361528A的中国专利公开了《一种多尺度目标检测方法及系统》，其包括：构建包括依次连接的多个卷积模块和多个卷积支路的空洞金字塔网络模型；各卷积模块的输出分别连接一个卷积支路，卷积支路包括一个卷积操作和多个空洞卷积操作，卷积支路中的卷积操作和空洞卷积操作为并列关系；卷积支路的输出按照分辨率从低到高，依次将各第一特征图进行上采样操作后与同尺寸的相邻第一特征图进行元素级相加，获得多个融合特征图；根据目标检测数据集对空洞金字塔网络模型进行模型训练，获得目标检测模型。
[0004]上述现有方案中的目标检测方法通过不同卷积核的空洞卷积提取特征信息，使得卷积层具有不同尺寸的感受野，有助于单一特征层获取到更丰富的多尺度上下文特征信息，进而能够增强各个特征层对不同尺度目标的敏感性。实际目标检测时，是将图像数据输入训练好的目标检测模型中，由目标检测模型获得对应的多个融合特征图，进而基于多个融合特征图完成目标检测。因此，融合特征图在一定程度上决定着目标检测的效果。然而，现有方案在获得融合特征图时，多数技术手段停留在骨干网络的改进与微观层面卷积方式的改进，未在宏观上对特征金字塔的多尺度特征融合方式做出有效改进，未使用相关手段来细化和平衡多尺度语义特征，其虽然能提取到包含多尺度特征信息，但难以充分地融合多尺度特征信息，尤其对于小目标(小尺度特征)而言，其目标检测效果会受到限制，进而导致目标检测的准确性难以得到保证。因此，如何设计一种能够充分融合尺度特征并保证小目标检测效果的目标检测方法是亟需解决的技术问题。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种基于多尺度特征融合的目标检测方法，以能够充分融合尺度特征并保证小目标检测效果，从而提升目标检测的准确性和效果。
[0006]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0007]一种基于多尺度特征融合的目标检测方法，包括以下步骤：
[0008]S1：构建目标检测模型，并对目标检测模型进行训练；
[0009]S2：获取待检测目标的图像数据；
[0010]S3：将待检测目标的图像数据输入经过训练的目标检测模型中；
[0011]所述目标检测模型首先基于图像数据提取多尺度的特征图；然后通过逐层特征融合和反馈特征融合的方式对低层特征图进行充分融合，得到对应的低层融合特征图；再通过注意力机制仅对高层特征图进行融合更新，得到对应的高层融合特征图；最后基于低层融合特征图和高层融合特征图生成对应的多尺度融合特征图；
[0012]S4：基于多尺度融合特征图完成目标检测。
[0013]优选的，所述目标检测模型包括FPN网络、FFE网络和H
‑
BFP网络；
[0014]FPN网络，用于基于图像数据提取多尺度的特征图，然后从最高层次开始向下进行逐层特征融合，并输出未进行特征融合的高层特征图，以及对低层特征图进行特征融合得到的初步融合特征图；
[0015]FFE网络，用于基于图像数据提取多尺度的特征图，然后将对应尺度的特征图与FPN网络输出的初步融合特征图进行逐层特征融合和反馈特征融合，以生成对应的低层融合特征图；
[0016]H
‑
BFP网络，用于对高层特征图和低层融合特征图进行相加取平均，并提取对应的特征信息；然后基于特征信息和注意力机制对高层特征图进行融合更新，得到对应的高层融合特征图。
[0017]优选的，FFE网络中包括反馈特征输入模块；反馈特征输入模块获取FPN网络输出的初步融合特征图，并通过两条分支实现初步融合特征图的输入；
[0018]分支一，用于将初步融合特征图作为反馈信息输入到FFE网络中，使得初步融合特征图能够与对应尺度的特征图进行逐层特征融合，以输出对应的深度融合特征图；
[0019]分支二，用于将初步融合特征图输入至FFE网络的输出位置，使得初步融合特征能够与FFE网络输出的深度融合特征图进行反馈特征融合，以生成对应的低层融合特征图。
[0020]优选的，初步融合特征图与对应尺度的特征图进行逐层特征融合时，通过1*1卷积层调整FFE网络的输出，并将对应的通道大小调整为256，以输出对应的深度融合特征图。
[0021]优选的，FFE网络中包括全局模块；全局模块用于对输入的初步融合特征图进行全局特征提取，以获取初步融合特征图中更丰富的特征语义信息。
[0022]优选的，H
‑
BFP网络首先对FPN网络输出的高层特征图P
h
进行下采样，得到对应的高层特征图P
h+1
；然后将高层特征图P
h
和P
h+1
与FFE网络输出的低层融合特征图进行相加取平均，得到各层融合后的特征信息；再对特征信息进行no local操作，并通过特征信息采样的方式得到与高层特征图P
h
和P
h+1
对应尺度的高层融合特征图P
h
′
和P
′
h+1
；再对高层融合特征图P
′
h
和P
′
h+1
进行卷积和激活函数操作，分别计算得到对应的注意力特征图；最后基于高层融合特征图P
h
′
和P
′
h
+1对应的注意力特征图分别计算P
h
与P
h
′
的加权和，以及P
h+1
与P
′
h+1
加权和，进而更新高层融合特征图P
′
h
和P
′
h+1
。
[0023]优选的，通过如下公式更新高层特征图：
[0024]P
′
h
＝torch.sigmoid(self.conv(P
′
h
))*P
′
h
+(1
‑
torch.sigmoid(self.conv(P
′
h
)))*P
h
；
[0025]P
′本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的目标检测方法，其特征在于，包括以下步骤：S1：构建目标检测模型，并对目标检测模型进行训练；S2：获取待检测目标的图像数据；S3：将待检测目标的图像数据输入经过训练的目标检测模型中；所述目标检测模型首先基于图像数据提取多尺度的特征图；然后通过逐层特征融合和反馈特征融合的方式对低层特征图进行充分融合，得到对应的低层融合特征图；再通过注意力机制仅对高层特征图进行融合更新，得到对应的高层融合特征图；最后基于低层融合特征图和高层融合特征图生成对应的多尺度融合特征图；S4：基于多尺度融合特征图完成目标检测。2.如权利要求1所述的基于多尺度特征融合的目标检测方法，其特征在于：所述目标检测模型包括FPN网络、FFE网络和H
‑
BFP网络；FPN网络，用于基于图像数据提取多尺度的特征图，然后从最高层次开始向下进行逐层特征融合，并输出未进行特征融合的高层特征图，以及对低层特征图进行特征融合得到的初步融合特征图；FFE网络，用于基于图像数据提取多尺度的特征图，然后将对应尺度的特征图与FPN网络输出的初步融合特征图进行逐层特征融合和反馈特征融合，以生成对应的低层融合特征图；H
‑
BFP网络，用于对高层特征图和低层融合特征图进行相加取平均，并提取对应的特征信息；然后基于特征信息和注意力机制对高层特征图进行融合更新，得到对应的高层融合特征图。3.如权利要求2所述的基于多尺度特征融合的目标检测方法，其特征在于：FFE网络中包括反馈特征输入模块；反馈特征输入模块获取FPN网络输出的初步融合特征图，并通过两条分支实现初步融合特征图的输入；分支一，用于将初步融合特征图作为反馈信息输入到FFE网络中，使得初步融合特征图能够与对应尺度的特征图进行逐层特征融合，以输出对应的深度融合特征图；分支二，用于将初步融合特征图输入至FFE网络的输出位置，使得初步融合特征能够与FFE网络输出的深度融合特征图进行反馈特征融合，以生成对应的低层融合特征图。4.如权利要求3所述的基于多尺度特征融合的目标检测方法，其特征在于：初步融合特征图与对应尺度的特征图进行逐层特征融合时，通过1*1卷积层调整FFE网络的输出，并将对应的通道大小调整为256，以输出对应的深度融合特征图。5.如权利要求2所述的基于多尺度特征融合的目标检测方法，其特征在于：FFE网络中包括全局模块；全局模块用于对输入的初步融合特征图进行全局特征提取，以获取初步融合特征图中更丰富的特征语义信息。6.如权利要求2所述的基于多尺度特征融合的目标检测方法，其特征在于：H
‑
BFP网络首先对FPN网络输出的高层特征图P
h
进行下采样，得到对应的高层特征图P
h+1
；然后将高层特征图P
h
和P
h+1
与FFE网络输出的低层融合特征图进行相加取平均，得到各层融合后的特征信息；再对特征信息进行no local操作，并通过特征信息采样的方式得到与高层特征图P
h
和P
h+1
对应尺度的高层融合特征图P
′
h
和P
′
h+1
；再对高层融合特征图P
′
h
和P
′
h+1
进行卷积和激活函数操作，分别计算得到对应的注意力特征图；最后基于高层融合特征图P
′
h
和P
′
h+1
对应
的注意力特征图分别计算P
h...

【专利技术属性】
技术研发人员：张光建，尹一铭，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：