一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法技术

本发明专利技术公开了一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，涉及航空图像处理技术领域，结合低层与高层特征融合和尺度不敏感性度量思路，包括以下步骤：S1：建立无人机图像目标数据集，并对图像数据进行预处理；S2：对输入图像进行切片操作，再对切片结果进行拼接；S3：融合多尺度池化信息丰富特征的感受野；S4：引入基于高斯Wasserstein距离的NWD度量；S5：对于测试集中含小目标的无人机图像，利用训练好的改进的特征提取网络进行目标预测。本发明专利技术采用上述方法，提高了小目标检测精度，改进了针对常规尺度目标的深度检测算法，对有限像素的目标实现了有效检测，具有较高的准确性和召回率。具有较高的准确性和召回率。具有较高的准确性和召回率。

【技术实现步骤摘要】
一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法


[0001]本专利技术涉及航空图像处理
，具体涉及一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法。

技术介绍

[0002]无人机图像有限像素目标是指在无人机图像中所占像素很少的目标。在远距离成像条件下，尤其是中高空无人机远距离斜视对地观测时，地面目标在图像中所占像素数较少。利用计算机对无人机图像数据进行有效地分析和处理，识别出不同类别的目标并标注其所在的位置是计算机视觉任务中的基础问题之一，被广泛应用于军事、农林业、海事、防灾救灾、城市规划等各个领域，这也对无人机图像的目标检测任务提出了更高的要求。
[0003]在复杂背景中检测小目标是图像分析处理领域的一个重要研究方向，与自然场景下的图像相比，由于成像距离较远，无人机图像具有背景复杂度高、目标尺寸小、特征弱等特点，且由于成像环境较为复杂，例如天气、平台速度、高度及稳定性变化性大，导致无人机图像具有分辨率低、色彩饱和度低、环境噪声失真等问题，从而加大了目标检测的难度。
[0004]现有的目标检测算法分为基于传统图像处理和基于深度学习的算法两大类。基于传统图像处理的目标检测法大多应用于红外弱小目标检测领域，通过引入视觉注意力机制，利用目标与背景、噪声之间的差异，选择性地发现感兴趣的目标区域，但手工设计特征具有代表性不足的缺点，易受复杂背景的干扰，不能直接应用于无人机图像目标检测任务中。基于深度神经网络的目标检测算法在在常规数据集上表现优异，但对小目标检测精度较低，这是因为卷积神经网络一般通过堆叠的卷积和池化层构成，随着网络层次加深，特征维度逐渐降低，待测目标的信息量进一步减少，难以检测。
[0005]因此，有必要提供一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，来解决上述问题。

技术实现思路

[0006]本专利技术的目的是提供一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，提高了小目标检测精度，改进了针对常规尺度目标的深度检测算法，对有限像素的目标实现了有效检测，具有较高的准确性和召回率。
[0007]为实现上述目的，本专利技术提供了一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，包括以下步骤：
[0008]S1：建立无人机图像目标数据集，并对图像数据进行预处理；
[0009]S2：对输入图像进行切片操作，再对切片结果进行拼接；
[0010]S3：融合多尺度池化信息丰富特征的感受野；
[0011]S4：引入基于高斯Wasserstein距离的NWD度量；
[0012]S5：对于测试集中含小目标的无人机图像，利用训练好的改进的特征提取网络进
行目标预测。
[0013]优选的，在步骤S1中，将原始图像重叠切割为800
×
800像素的统一尺寸，根据目标在图像中出现的频率及尺寸确定目标，并根据图像中目标所占比例选择图像，取其中X个类别的样本作为训练集，其余类别样本作为测试集。
[0014]优选的，在步骤S2中，切片操作是设置Focus结构，进行降采样，将高分辨率图像拆分成多个低分辨率图像，保留小目标的特征信息。
[0015]优选的，在步骤S3中，在主干网络最后的卷积层前引入SPP模块，将不同尺度的特征信息进行融合。
[0016]优选的，在步骤S4中，NWD度量设计的过程为，将边界框建模为二维高斯分布，对于水平边界框，它的内接椭圆方程表示为：
[0017][0018]其中(μ
x
,μ
y
)为椭圆中心坐标，σ
x
和σ
y
分别表示沿x、y轴的半轴长度，μ
x
＝c
x
，μ
y
＝c
y
，σ
x
＝w/2，σ
y
＝h/2。
[0019]优选的，在步骤S4中，二维高斯分布的概率密度函数表示为：
[0020][0021]其中x、μ和Σ分别表示高斯分布的坐标、均值向量和协方差矩阵。
[0022]优选的，在步骤S4中，(x
‑
μ)
T
Σ
‑1(x
‑
μ)＝1时，水平边界框R＝(c
x
,c
y
,w,h)建模为二维高斯分布N(μ,∑)，其中：
[0023][0024]将两个边界框之间的相似度转换成两个高斯分布之间的距离，对于两个二维高斯分布μ1＝N(m1,Σ1)和μ2＝N(m2,∑2)，μ1和μ2之间的二阶Wasserstein距离简化表示为：
[0025][0026]其中||
·
||
F
表示Frobenius范数；
[0027]对于从边界框A＝(cx
a
,cy
a
,w
a
,h
a
)和B＝(cx
b
,cy
b
,w
b
,h
b
)建模的高斯分布N
a
和N
b
，进一步简化为：
[0028][0029]使用它的指数形式归一化作为两个边界框相似度的度量：
[0030][0031]其中C为数据集中目标的平均绝对大小，IoU曲线随着目标尺寸降低，位置偏移导致的指标下降幅度增大。
[0032]优选的，在步骤S4中，损失函数由目标置信度损失、分类损失及边界框回归损失加权组成，目标置信度损失和分类损失采用二值交叉熵，边界框回归损失表示为预测边界框和真实目标边界框的CIoU损失和NWD损失的归一化加权和，损失函数表示为：
[0033]Loss＝λ1L
cls
+λ2L
obj
+λ3[αL
CIoU
+(1
‑
α)L
NWD
][0034]L
NWD
＝1
‑
NWD(N
p
,N
g
)
[0035]其中NWD(N
p
,N
g
)表示预测框和真实框之间的指数归一化Wasserstein距离。
[0036]优选的，在步骤S5中，采用AP50、AP75及mAP作为模型的评价指标评估算法性能，测试改进的特征提取网络在测试数据集上的效果，分析引入NWD度量对模型性能的影响。
[0037]因此，本专利技术采用上述一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，具备以下有益效果；
[0038](1)本专利技术通过多尺度特征提取模块在Neck网络中采用双向特征金字塔网络(BiFPN)将低层特征与高层特征进行双向融合，丰富有限像素目标特征信息的表达。
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：包括以下步骤：S1：建立无人机图像目标数据集，并对图像数据进行预处理；S2：对输入图像进行切片操作，再对切片结果进行拼接；S3：融合多尺度池化信息丰富特征的感受野；S4：引入基于高斯Wasserstein距离的NWD度量；S5：对于测试集中含小目标的无人机图像，利用训练好的改进的特征提取网络进行目标预测。2.根据权利要求1中所述的一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：在步骤S1中，将原始图像重叠切割为800
×
800像素的统一尺寸，根据目标在图像中出现的频率及尺寸确定目标，并根据图像中目标所占比例选择图像，取其中X个类别的样本作为训练集，其余类别样本作为测试集。3.根据权利要求1中所述的一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：在步骤S2中，切片操作是设置Focus结构，进行降采样，将高分辨率图像拆分成多个低分辨率图像，保留小目标的特征信息。4.根据权利要求1中所述的一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：在步骤S3中，在主干网络最后的卷积层前引入SPP模块，将不同尺度的特征信息进行融合。5.根据权利要求1中所述的一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：在步骤S4中，NWD度量设计的过程为：将边界框建模为二维高斯分布，对于水平边界框，它的内接椭圆方程表示为：其中(μ
x
,μ
y
)为椭圆中心坐标，σ
x
和σ
y
分别表示沿x、y轴的半轴长度，μ
x
＝c
x
，μ
y
＝c
y
，σ
x
＝w/2，σ
y
＝h/2。6.根据权利要求5中所述的一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：在步骤S4中，二维高斯分布的概率密度函数表示为：其中x、μ和Σ分别表示高斯分布的坐标、均值向量和协方差矩阵。7.根据权利要求6中所述的一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法，其特征在于：在步骤S4中，(x
‑

【专利技术属性】
技术研发人员：李红光，孟令捷，杨丽春，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：