一种基于无人机图像的小目标检测方法技术

本发明专利技术公布了一种基于无人机图像的小目标检测方法，基于空洞卷积和多尺度特征层，将YOLOv4目标检测方法改进为适用于无人机图像目标检测的方法，包括：确定先验框尺寸；进行特征提取；结合空洞卷积进行多尺度融合；构建特征金字塔；提取多特征层进行目标检测；利用预测框的位置和预测得分，筛选出预测框；由此解决无人机环境下目标遮挡和小目标检测问题；提升目标检测的准确率；保证小目标的检测性能。保证小目标的检测性能。保证小目标的检测性能。

【技术实现步骤摘要】
一种基于无人机图像的小目标检测方法


[0001]本专利技术涉及计算机视觉技术和目标检测技术，尤其涉及一种基于无人机图像的小目标检测实现方法。

技术介绍

[0002]在当今的日常生活中，监控无处不在，尤其是在广场、车站、住宅小区、交通道路等人流密集场所，分布着大量摄像头以进行实时监控。监控可实现犯罪预防、交通管制、重点目标跟踪等作用，在维护社会安全中发挥着至关重要的作用。若采用传统人工方式来处理所有监控内容，则会存在视觉疲惫或漏检、误检等问题。而属于人工智能领域的智能图像监测技术可利用先进算法对海量图像数据进行处理，并根据实际需求为用户提供更多有用的关键信息，从而既极大节省了人力、物力，又能够显著提高监测效率，降低监测成本。随着先进传感器技术和物联网的发展，监控设备的种类和数量越来越多，图像越来越清晰，采集到的相关图像数据的类别、数量和质量不断增加和提高。采用监控摄像头、无人机等物联网技术，可以实时获取海量的监控图像，进行无死角的监控。在实时采集的海量图像数据基础上，研究人员通过先进算法可开发出各种实时监测系统，如行人实时监测系统，以实现精确定位和跟踪。同时利用大数据技术和深度学习理论，可使得传统目标跟踪方式从低效的人工模式向智能实时的高效模式转变。其中，在无人机领域，针对监控图像中复杂多目标且小目标的检测，是智能监控系统中的关键核心技术。
[0003]传统的监控系统架构仅能提供图像采集、存储及回看、查询等简单功能，而不能对图像中蕴含的隐含信息进行智能处理。同时，在人工处理所监测的内容时，海量的数据信息对于安防管理人员是一种生理和心理的双重挑战，往往会导致“看到晕”、“看到吐”。由此可知，在物联网时代，仅仅依靠人力资源去检索和查看海量数据已不太现实。针对上述问题，本专利技术主要研究了基于深度学习的无人机小目标检测问题。目标检测一直以来都是计算机视觉研究领域中最具挑战的研究热点。与传统的机器学习相比，深度学习的优势主要表现在以下两个方面：一是识别或分类性能更高，二是适用范围更广。使用深度学习有可能通过增加新应用场景的少量样本进行微调就能得到一个很好的模型。也就是说，基于深度学习的方法，不仅可以提高一些算法的准确率，还可以实现一些传统机器学习难以实现的功能。因此，采用深度学习技术在图像中进行目标检测具有重要的研究价值和意义。
[0004]目标检测是从图像中提取出前景或感兴趣的目标，检测出物体的具体位置并标记，同时检测出物体所属的类别。快速且准确的目标检测算法可以为后续的行为识别、跟踪等提供良好的条件。目前，主流的目标检测算法主要分为三类。其中，一是基于手工特征构建的传统目标检测算法，如Viola-Jones检测器、HOG行人检测器。二是基于候选区域的目标检测算法，通过提取候选区域并对其进行深度学习得到检测结果，如R-CNN、R-FCN、SPPNet、FastR-CNN、Faster R-CNN等方法。三是基于深度学习的目标检测算法，包括YOLO、DenseBox、 SSD、RFBnet等方法。随着深度学习的出现，目标检测算法在特征表达能力及时间效率上都取得了突破性的进展。其中，yolo算法是由Joseph Redmon于2016年提出的一种
目标检测方法。该算法的基本思想是将对象检测作为回归问题构建到空间上分离的边界框和相关的类概率。对于一个给定的输入图像，将其划分成7
×
7的网格。然后，对于每个网格，都预测2个边框值(包括每个边框是目标的置信度以及每个边框区域在多个类别上的概率)。针对预测出的7
×7×
2个目标窗口，根据阈值去除可能性比较低的目标窗口，最后利用非极大抑制(NMS) 去除冗余窗口。2018年Joseph Redmon等人又提出了yolov3算法，其主要从三个方面进行了改进。一是为了解决深层次网络的梯度消失问题，调整了原有的网络结构，新的网络结构 darknet-53借鉴了ResNet的思想，在网络中加入了残差网络Residual。二是为了检测到更加细粒度的特征，采用了多尺度检测，选择3个不同尺度的特征层来进行目标检测。三是为了能支持多标签对象，yolov3算法中预测对象类别时使用logistic来替代原来的softmax 函数。近年来，yolov3作为一种流行的目标检测算法，在速度和准确率上都有明显的优势。有很多研究人员对yolov3算法进行进一步的改进，以希望在准确率和速度上有更大的提升。 Joseph Redmon等人提出了yolov3的简化版本yolov3-tiny，在yolov3的基础上去掉了一些特征层，只保留了2个独立预测分支(13
×
13预测层，26
×
26预测层)，以提高yolov3的速度。Pengyi Zhang等人提出SlimYOLOv3算法，其对yolov3进行了剪枝，提高了速度。Mao 等人设计了一个轻量级网络Mini-YOLOv3。使用深度可分卷积和点态群卷积来减小网络的参数大小，构造了一个参数大小仅为darknet-53的16％的特征提取主干网络。同时，在一个简单的u型结构的基础上增加了一个多尺度的特征金字塔网络来提高多尺度目标检测的性能。 2020年，研究人员在yolov3算法上又进行了升级，提出了yolov4算法，其准确度和速度方面比yolov3更高效。因此，采用yolo系列算法能够快速高效地实现目标检测。但是yolo系列没有进行区域采样，所以在小目标的检测上表现较差，针对无人机图像中复杂多目标且小目标的检测效果有待提高。

技术实现思路

[0005]为了克服上述现有技术的不足，本专利技术提供一种基于无人机图像的小目标检测方法，基于空洞卷积和多尺度特征层，将现有的YOLOv4目标检测方法改进为适用于无人机图像目标检测的方法；由此解决无人机环境下目标遮挡的小目标检测问题，提高小目标检测的精确性。
[0006]以下先对本专利技术的技术术语进行解释。
[0007]IoU(交并比，Intersection over Union)：IoU是先验框和预测框的交集与并集之比。 IoU的值＝1，则先验框和预测框重合；IoU的值＝0，则先验框和预测框完全不重合；所以1
-ꢀ
IoU可以看作先验框和预测框的偏移程度，即先验框和预测框的距离。
[0008]k-means聚类：是一种迭代求解的聚类分析算法。在本专利技术中的步骤是，随机选取9个初始的聚类中心，然后计算每一行距离9个聚类中心的IoU情况。把每个样本分配给距离它最近的聚类中心。每分配一个样本，聚类中心会根据聚类中现有的样本被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)样本被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
[0009]卷积神经网络(Convolutional Neural Network,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，适用于计算机视觉、自然语言处理等领域。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机图像的小目标检测方法，通过对目标检测方法YOLOv4进行改进,基于空洞卷积和多尺度特征层构建目标检测特征金字塔模型，提取得到多特征层的预测结果并解码，从而得到目标检测预测得分；所述目标检测特征金字塔模型包括：用于对无人机图像进行多特征层特征提取的特征提取模块CSPDarknet53；用于对提取到的无人机图像特征进行多尺度融合的改进感受野模块RFB；用于反复提取特征构建特征金字塔、提取多特征层进行目标检测的PANet模块；所述基于无人机图像的小目标检测方法包括如下步骤：1)图像初始化：获取图像路径、目标类别、目标位置信息，把标注框中心坐标和长宽转化为相对整幅图像长宽的比例，打乱数据集顺序以免模型过拟合；2)确定先验框尺寸：对数据集进行聚类分析，根据聚类结果确定先验框尺寸；3)特征提取：通过CSPDarknet53模块提取特征，增强CNN的学习能力，使得在轻量化的同时保持准确性；具体在残差模块的结构里使用了跨阶段局部网络CSP结构，将残差模块进行拆分；先将特征映射划分为两部分，主干部分继续进行残差模块的堆叠，另一部分是一个大残差边，与主干部分合并，使得减少计算量的同时可以保证准确率，避免由于网络优化中的梯度信息重复而导致推理计算过高；4)多尺度融合：采用感受野模块RFB模块对同一个特征层提取到的特征进行重采样的方式，提取得到不同尺度的特征；利用空洞卷积提高网络模型的特征提取能力；5)构建目标检测特征金字塔模型：使用PANet结构构建目标检测特征金字塔，先自顶向下传达强语义特征，再自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合，进一步提高特征提取的能力；6)利用提取得到的多特征层进行目标检测；7)利用框的位置和得分进行非极大抑制，筛选出预测框，避免一个目标有多个预测框；8)进行可视化：绘出每个目标的预测框以及其预测得分。2.如权利要求1所述基于无人机图像的小目标检测方法，其特征是，步骤1)中，初始化的图像包括多张图片及图片对应的标注文档；每张图片中包含多个目标；标注文档的内容包括图片中每个目标的类别和标注框位置；利用初始化图像信息生成训练集和测试集。3.如权利要求1所述基于无人机图像的小目标检测方法，其特征是，步骤2)中确定先验框尺寸包括如下步骤：针对数据集的尺寸进行聚类分析，确定网络中检测层先验框的尺寸大小；通过以下公式计算得到先验框聚类的距离度量：D(S
b
,S
c
)＝1-IOU(S
b
,S

【专利技术属性】
技术研发人员：谭励，吕芯悦，连晓峰，史佳琦，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：