基于目标检测的多尺度特征融合方法技术

本发明专利技术属于目标检测领域，涉及一种基于目标检测的多尺度特征融合方法，包括以下步骤：1）将不同尺寸的特征图进行卷积处理后得到通道数相同的特征图；2）将步骤1）获取得到的特征图分别进行通道维度融合处理以及空间维度融合处理，分别得到通道维度融合处理特征图以及空间维度融合处理特征图；3）将步骤2）所获取得到的通道维度融合处理特征图以及空间维度融合处理特征图进行融合处理，实现对不同尺寸的特征图在空间和通道两个维度的特征融合。本发明专利技术提供了一种可显著提升检测精度的基于目标检测的多尺度特征融合方法。检测的多尺度特征融合方法。检测的多尺度特征融合方法。

【技术实现步骤摘要】
基于目标检测的多尺度特征融合方法


[0001]本专利技术属于目标检测领域，涉及一种特征融合方法，尤其涉及一种基于目标检测的多尺度特征融合方法。

技术介绍

[0002]目标检测的主要任务是从输入图像中定位感兴趣的目标，然后准确地判断每个感兴趣目标的类别。当前的目标检测技术已经广泛地应用于日常生活安全、机器人导航、智能视频监控、交通场景检测及航天航空等领域。
[0003]在深度学习的发展背景下，卷积神经网络已经得到越来越多的人认同，应用也越来越普遍。基于深度学习的目标检测算法利用卷积神经网络(CNN)自动选取特征，然后再将特征输入到检测器中对目标分类和定位。
[0004]在一张图片中，物体的尺寸大小是不同的。如果都采用相同尺寸的特征图训练，则效果很不理想，如果将特征图裁剪成不同的尺寸分多次输入训练，则大大地增加了网络的复杂度和训练时间。在目标检测算法中，为了解决对不同尺寸物体的预测问题，Lin等人提出了著名的特征金字塔网络FPN，如图1所示，其基本思想在于结合浅层特征图的细粒度空间信息和深层特征图的语义信息对多尺度的目标进行检测。在此基础上，又有许多人提出了改进的FPN结构。Liu等人提出了PANet，该网络先采用上采样融合不同尺寸的特征图，在此基础上再进行下采样特征融合，重新构建了一个强化了空间信息的金字塔；Golnaz Ghaisi等人提出了NAS
‑
FPN，该网络在一个覆盖所有交叉尺度连接的可扩展搜索空间中，采用神经网络结构搜索，可以跨范围地融合特性；Guo等人提出了AugFPN，该网络针对FPN存在的缺陷采用了Consistent Supervision，Residual Feature Augmentation和Soft RoI Selection；Tan等人提出了BiFPN架构，BiFPN同样对特征进行加权融合，让网络能学习到不同输入特征的重要性；Siyuan Qiao等人提出了Recursive
‑
FPN，该网络将传统FPN的融合后的特征图再输入给Backbone，进行二次循环。金字塔网络FPN可以平衡目标的分类准确性和定位准确性，有效地解决多尺度预测问题。但是该结构只是在空间结构上对特征进行有效融合，不同的通道之间的信息可能存在关联或者冗余。

技术实现思路

[0005]为了解决
技术介绍
中存在的上述技术问题，本专利技术提供了一种可显著提升检测精度的基于目标检测的多尺度特征融合方法。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于目标检测多尺度特征融合方法，其特征在于：所述基于目标检测多尺度特征融合方法包括以下步骤：
[0008]1)将不同尺寸的特征图进行卷积处理后得到通道数相同的特征图；
[0009]2)将步骤1)获取得到的特征图分别进行通道维度融合处理以及空间维度融合处理，分别得到通道维度融合处理特征图以及空间维度融合处理特征图；
[0010]3)将步骤2)所获取得到的通道维度融合处理特征图以及空间维度融合处理特征图进行融合处理，实现对不同尺寸的特征图在空间和通道两个维度的特征融合。
[0011]作为优选，本专利技术所采用的步骤1)的具体实现方式是：
[0012]1.1)获取不同尺寸的特征图，所述不同尺寸的特征图最少包括特征图C3、特征图C4以及特征图C5；其中特征图C3的尺寸是特征图C4的2倍；特征图C4的尺寸是特征图C5的2倍；
[0013]1.2)对不同尺寸的特征图进行经过卷积处理，使得卷积处理后的通道数相同。
[0014]作为优选，本专利技术所采用的步骤2)中通道维度融合处理的具体实现方式是：将特征图在通带维度上压缩为三维向量，再将不同尺度的特征图在通道维度融合。
[0015]作为优选，本专利技术将特征图在通带维度上压缩为三维向量的具体实现方式是：
[0016]将特征图经过unfold操作，促使特征图由四维tensor转换成三维tensor；所述四维tensor的维度是【B，C，H，W】，所述三维tensor的维度为【B，C
’
，L】；
[0017]其中：
[0018]C
’
满足以下关系：
[0019]C
′
＝C*K*K
[0020]其中：
[0021]C是原特征图的通道大小；
[0022]K是卷积核的大小；
[0023]C
’
是滑动窗口大小；
[0024]L满足以下关系：
[0025]L＝H'*W'
[0026][0027][0028]其中：
[0029]H是原特征图的长度；
[0030]W是原特征图的宽度；
[0031]pading是填充大小；
[0032]K是卷积核大小；
[0033]stride是步距大小；
[0034]L是滑动窗口的数量。
[0035]作为优选，本专利技术将不同尺度的特征图在通道维度融合的具体实现方式是：
[0036]a)特征图C3经过1次unfold操作得到C
’
3；特征图C4经过2次unfold操作后得到C
’
4_1以及C
’
4_2；特征图C5经过1次unfold操作得到C
’
5；其中：C
’
3和C
’
4_1大小相等，C
’
4_2和C
’
5大小相等；
[0037]b)将C
’
3和C
’
4_1融合得到三维tensor、将C
’
4_2和C
’
5进行融合得到三维tensor；
[0038]c)再将步骤b)的结果通过reshape恢复到4个四维tensor，其中，第一个四维tensor的尺寸和特征图C3的尺寸相同，第2个四维tensor的尺寸以及第3个四维tensor的尺
寸分别与特征图C4的尺寸相同，第4个四维tensor的尺寸和特征图C5的尺寸相同；
[0039]d)第一个四维tensor得到经过通道维度上融合的特征图P3_1；第4个四维tensor得到经过通道维度上融合的特征图P5_1；将第2个四维tensor和第3个四维tensor相加得到经过通道维度上融合的特征图P4_1；所述特征图P3_1的尺寸、特征图P4_1的尺寸以及特征图P5_1的尺寸均是非等同的。
[0040]作为优选，本专利技术所采用的步骤2)中空间维度融合处理是对特征图进行上采样，再将不同不同尺度的特征图在空间维度融合。
[0041]作为优选，本专利技术所采用的步骤2)中空间维度融合处理的具体实现方式是：
[0042]将特征图C5经过上采样与特征图C4融合得到P4_2，将P4_2再经过上采样与特征图C3融合得到P3_2，最终得到经过空间维度上融合的特征图P3_2、特征图P4_2以及特征图P5_2；所述特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测多尺度特征融合方法，其特征在于：所述基于目标检测多尺度特征融合方法包括以下步骤：1)将不同尺寸的特征图进行卷积处理后得到通道数相同的特征图；2)将步骤1)获取得到的特征图分别进行通道维度融合处理以及空间维度融合处理，分别得到通道维度融合处理特征图以及空间维度融合处理特征图；3)将步骤2)所获取得到的通道维度融合处理特征图以及空间维度融合处理特征图进行融合处理，实现对不同尺寸的特征图在空间和通道两个维度的特征融合。2.根据权利要求1所述的基于目标检测多尺度特征融合方法，其特征在于：所述步骤1)的具体实现方式是：1.1)获取不同尺寸的特征图，所述不同尺寸的特征图最少包括特征图C3、特征图C4以及特征图C5；其中特征图C3的尺寸是特征图C4的2倍；特征图C4的尺寸是特征图C5的2倍；1.2)对不同尺寸的特征图进行经过卷积处理，使得卷积处理后的通道数相同。3.根据权利要求2所述的基于目标检测多尺度特征融合方法，其特征在于：所述步骤2)中通道维度融合处理的具体实现方式是：将特征图在通带维度上压缩为三维向量，再将不同尺度的特征图在通道维度融合。4.根据权利要求3所述的基于目标检测多尺度特征融合方法，其特征在于：所述将特征图在通带维度上压缩为三维向量的具体实现方式是：将特征图经过unfold操作，促使特征图由四维tensor转换成三维tensor；所述四维tensor的维度是【B，C，H，W】，所述三维tensor的维度为【B，C
’
，L】；其中：C
’
满足以下关系：C
′
＝C*K*K其中：C是原特征图的通道大小；K是卷积核的大小；C
’
是滑动窗口大小；L满足以下关系：L＝H'*W'＝H'*W'其中：H是原特征图的长度；W是原特征图的宽度；pading是填充大小；K是卷积核大小；stride是步距大小；L是滑动窗口的数量。
5.根据权利要求4所述的基于目标检测多尺度特征融合方法，其特征在于：所述将不同尺度的特征图在通道维度融合的具体实现方式是：a)特征图C3经过1次unfold操作得到C
’
3；特征图C4经过2次unfold操作后得到C
’
4_...

【专利技术属性】
技术研发人员：王改华，甘鑫，曹清程，翟乾宇，刘洪，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：