一种轻量级的无人机航拍图像目标检测方法技术

本发明专利技术提供一种轻量级的无人机航拍图像目标检测方法，包括获取原始的无人机航拍影像，还包括以下步骤：将原始的无人机航拍图像输入到有效感受野网络中，调整原始的无人机航拍图像的大小，生成调整无人机航拍图像；将调整无人机航拍图像输入到有效感受野模块中进行下采样并进行特征提取；重复5次，输出{C3,C4,C5}尺度；将{C3,C4,C5}尺度输入到有效感受野路径聚合网络进行特征融合，输出{P3,P4,P5}特征图；将{P3,P4,P5}特征图输入到有效感受野检测头进行检测，使用1

【技术实现步骤摘要】
一种轻量级的无人机航拍图像目标检测方法


[0001]本专利技术涉及无人机图像处理的
，特别是一种轻量级的无人机航拍图像目标检测方法。

技术介绍

[0002]无人机凭借着强大的机动性，广泛应用于军事、农业、环境监测等领域。军用无人机可用于战场侦察和边境巡逻等场景。在农业方面，无人机可以精准、高效、环保地喷洒农药。在环境监测中，利用它们观察空气状况，采集周围区域的环境数据，也可以实时监测工厂的排污。计算机视觉技术为无人机的发展提供了技术支撑。目标检测是计算机视觉的基本任务，它能够识别无人机航拍图像中的所有目标以及目标的位置。近年来，基于卷积神经网络的深度学习成为了当前目标检测的主流方法。双阶段方法如R
‑
CNN系列，通常检测精度较高，但推理速度慢。SSD系列、YOLO系列等单阶段算法推理速度快但精度稍逊。虽然这些方法在自然场景图像上(MS COCO)取得了先进的性能。但在检测无人机航拍图像或视频中的物体时，却无法取得令人满意的检测结果。
[0003]无人机航拍场景中目标检测存在以下挑战：(1)与自然场景图像不同，由于无人机在低空拍摄图像的特性，导致图像包含很多密集的小目标。远处的目标非常小，同时密集场景会产生遮挡现象，使目标检测更加困难。(2)受硬件资源的限制，一般目标检测算法将高分辨率的无人机航拍图像缩小尺寸(如320
×
320或640
×
640)输入到模型中，这样做会导致小目标漏检。(3)无人机航拍图像目标检测需要满足实时性，因此需要对网络的参数和准确率进行权衡，二者存在不可调和的矛盾。
[0004]公开号为CN115810157A的专利技术专利公开了一种基于轻量级特征融合的无人机目标检测方法，首先通过使用深度可分离卷积(DSC)与Coordinate Attention(CA)重新设计YOLOv4
‑
tiny的颈部特征提取模块；然后使用SPPF特征提取模块来增加提取特征的感受野信息，并且有效的保持模型的计算轻量化；最终使用Decoupled Head检测头模块使最终提取到的特征信息具有更强的空间联合性。该方法的缺点是
①
CA模块会带来额外的计算开销，增加了网络的延迟，导致检测速度下降；
②
SPPF虽然有效地增加了网络的感受野信息，但额外的增加了参数和计算复杂度。
[0005]公开号为CN 112101113A的专利技术专利公开了一种轻量化的无人机图像小目标检测方法，对输入的待测无人机图像视频按时序对每一帧图像进行处理，包括：将图像缩放后输入Revised MobileNetV2特征提取器，输出特征图；特征图输入同步上采样和检测模块，获得目标中心点位置和对应尺度，得到帧内所有预测目标边界框；对待测视频的所有帧进行处理后，对所有帧的预测结果进行快速序列非最大值抑制处理，输出待测视频的目标检测结果。该方法的缺点是增加一个二分类中心点目标性分支虽然在一定程度上降低了小目标的误检率，但增加了计算开销，占用了更多的硬件资源。

技术实现思路

[0006]为了解决上述的技术问题，本专利技术提出一种轻量级的无人机航拍图像目标检测方法，在保持局部细节的情况下又能增加卷积核感受野的模块ERF module。同时使用ERF module设计了轻量级的骨干，有效地扩大了骨干的感受野，避免了添加额外的上下文模块来扩大网络感受野。
[0007]本专利技术的目的是提供一种轻量级的无人机航拍图像目标检测方法，包括获取原始的无人机航拍影像，还包括以下步骤：
[0008]步骤1：将所述原始的无人机航拍图像输入到有效感受野网络ERFNet中，调整所述原始的无人机航拍图像的大小，生成调整无人机航拍图像；
[0009]步骤2：将所述调整无人机航拍图像输入到步幅为2的有效感受野模块ERF module中进行下采样并进行特征提取；
[0010]步骤3：重复所述步骤2的方法5次，输出{C3,C4,C5}三个尺度；
[0011]步骤4：将所述{C3,C4,C5}三个尺度输入到有效感受野路径聚合网络ERF
‑
PAN进行特征融合，输出{P3,P4,P5}三个特征图；
[0012]步骤5：将所述{P3,P4,P5}三个特征图输入到有效感受野检测头ERF
‑
Head进行检测，使用1
×
1卷积输出预测结果。
[0013]优选的是，所述步骤1包括所述原始的无人机航拍图像的大小为640
×
640
×
3，经过一个聚焦Focus模块，生成大小为320
×
320
×
32的所述调整无人机航拍图像。
[0014]在上述任一方案中优选的是，下采样后的所述调整无人机航拍图像的大小变为160
×
160
×
32。
[0015]在上述任一方案中优选的是，所述步骤2还包括使用步幅为1的所述有效感受野模块ERF module进行特征提取，特征提取后的图像大小不变。
[0016]在上述任一方案中优选的是，当所述有效感受野模块ERF module的步幅为1时，将输入的通道数均分成两部分，左分支用于残差连接防止梯度消失以及减少过拟合，右分支通过堆叠n个空洞卷积块D block来扩大网络感受野并且不会丢失局部细节。
[0017]在上述任一方案中优选的是，当所述有效感受野模块ERF module的步幅为2时，左边的分支通过空洞卷积块D block学习特征，右边的分支通过maxpooling操作学习特征，将左右分支学习到的特征进行拼接，使用1
×
1的卷积恢复通道数。
[0018]在上述任一方案中优选的是，所述{C3,C4,C5}三个尺度的大小分别为80
×
80
×
128、40
×
40
×
256和20
×
20
×
512。
[0019]在上述任一方案中优选的是，所述步骤4包括以下子步骤：
[0020]步骤41：对尺度C5使用一个1
×
1的卷积得到尺度C5′
通过上采样使尺度C5′
变为40
×
40
×
256，然后与尺度C4进行特征融合；
[0021]步骤42：使用一个步幅为1的所述有效感受野模块ERF module进行特征提取得到一个大小为40
×
40
×
512的尺度C4_upsample；
[0022]步骤43：对所述尺度C4_upsample使用一个1
×
1的卷积得到尺度C4′
，通过上采样使尺度C4′
变为80
×
80
×
128，然后与尺度C3进行特征融合；
[0023]步骤44：使用一个步幅为1的所述有效感受野模块ERF 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级的无人机航拍图像目标检测方法，包括获取原始的无人机航拍影像，其特征在于，还包括以下步骤：步骤1：将所述原始的无人机航拍图像输入到有效感受野网络ERFNet中，调整所述原始的无人机航拍图像的大小，生成调整无人机航拍图像；步骤2：将所述调整无人机航拍图像输入到步幅为2的有效感受野模块ERF module中进行下采样并进行特征提取；步骤3：重复所述步骤2的方法5次，输出{C3,C4,C5}三个尺度；步骤4：将所述{C3,C4,C5}三个尺度输入到有效感受野路径聚合网络ERF
‑
PAN进行特征融合，输出{P3,P4,P5}三个特征图；步骤5：将所述{P3,P4,P5}三个特征图输入到有效感受野检测头ERF
‑
Head进行检测，使用1
×
1卷积输出预测结果。2.如权利要求1所述的轻量级的无人机航拍图像目标检测方法，其特征在于：所述步骤1包括所述原始的无人机航拍图像的大小为640
×
640
×
3，经过一个聚焦Focus模块，生成大小为320
×
320
×
32的所述调整无人机航拍图像。3.如权利要求2所述的轻量级的无人机航拍图像目标检测方法，其特征在于：下采样后的所述调整无人机航拍图像的大小变为160
×
160
×
32。4.如权利要求3所述的轻量级的无人机航拍图像目标检测方法，其特征在于：所述步骤2还包括使用步幅为1的所述有效感受野模块ERF module进行特征提取，特征提取后的图像大小不变。5.如权利要求4所述的轻量级的无人机航拍图像目标检测方法，其特征在于：当所述有效感受野模块ERF module的步幅为1时，将输入的通道数均分成两部分，左分支用于残差连接防止梯度消失以及减少过拟合，右分支通过堆叠n个空洞卷积块D block来扩大网络感受野并且不会丢失局部细节。6.如权利要求5所述的轻量级的无人机航拍图像目标检测方法，其特征在于：当所述有效感受野模块ERF module的步幅为2时，左边的分支通过空洞卷积块D block学习特征，右边的分支通过maxpooling操作学习特征，将左右分支学习到的特征进行拼接，使用1
×
1的卷积恢复通道数。7.如权利要求6所述的轻量级的无人机航拍图像目标检测方法，其特征在于：所述{C3,C4,C5}三个尺度的大小分别为80
×
80
×
128、40
×
40
×
256和20<...

【专利技术属性】
技术研发人员：何宁，王鑫，张敬尊，徐光美，王金华，孙凤玺，韩文静，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：