一种面向小目标检测的网络和困难样本挖掘方法技术

本发明专利技术公开了一种面向小目标检测的网络和困难样本挖掘方法，包括以下步骤：步骤一、使用主干网络提取当前图像主干特征；步骤二、构造颈部网络，生成特征金字塔；步骤三、构造区域生成网络模型，生成感兴趣区域；步骤四、基于困难样本挖掘生成训练数据；步骤五、使用感兴趣区域对齐模块裁剪区域特征；步骤六、使用头部网络分类和定位目标。本发明专利技术能够显著提高小目标检测精度，且仅少量增加计算开销。

A network and difficult sample mining method for small target detection

【技术实现步骤摘要】
一种面向小目标检测的网络和困难样本挖掘方法
本专利技术涉及小目标检测问题，更具体地，涉及一种面向小目标检测的网络和困难样本挖掘方法。
技术介绍
受益于卓越的灵活性和便携性，无人机航拍广泛应用于农业、影视、测绘、监控、快递、户外搜救等领域。航拍数据的自动处理和智能识别成为了业界的迫切需求。作为其中关键技术之一，无人机目标检测成为了当下的研究热点。尽管深度学习方法在通用目标检测领域获得了巨大的成功，它们在无人机航拍场景下的表现不尽人意。不同于普通图像，无人机航拍图像面临严重的小目标挑战：更多的小目标、更低的目标平均分辨率和更小的ORS。下文对比性分析了COCO、ImageNet和VisDrone数据集(一个近期提出的大型无人机航拍数据集)，进一步阐述这三个方面。无人机航拍场景下小目标占比更重。统计了COCO2014和VisDrone2018训练集中的目标像素面积分布，VisDrone2018中约有60％的目标面积不超过1000像素，约75％的目标面积不超过2000像素。而COCO中这样的目标分别只有约40％和55％。由此可见，无人机航拍场景下有更多的小目标，其目标检测的核心在于小目标检测。无人机航拍图像中目标的平均分辨率也更低。COCO2014中目标平均面积为2.05e+4像素。而VisDrone2018中目标平均面积仅为2.49e+3像素，是COCO2014的1/8。更低的分辨率意味着目标携带的外观信息更少、信噪比更低，更难被检测器检出。除绝对尺度外，航拍图像中目标的相对尺度也较小。在检测阶段，图像会被缩放至预设大小。小的ORS导致缩放后的目标分辨率低，外观信息少，影响检测精度统计了COCO2014、ImageNetDET和VisDrone2018中ORS的累计分布。相比于COCO和ImageNet，VisDrone中绝大多数目标具有更小的相对尺度。其中约97％的目标占图像面积不到1％。VisDrone、COCO和ImageNet中ORS的中位数分别为1.73e-2,9.56e-2和5.14e-1。如果让VisDrone中的目标同COCO或ImageNet中的目标尺度相当，VisDrone的图片将被放大至COCO图片的5倍、ImageNet图片的29倍。受限于GPU显存，现有深度学习方法难以直接处理如此庞大的图片。综上，改善无人机目标检测的关键是改善小目标检测。本专利技术提出面向小目标检测的网络设计和困难样本挖掘方法：使用主干网络对当前图像提取主干特征；设计特征优化的颈部网络，输入主干特性产生特征金字塔；设计锚点优化的区域生成网络，产生感兴趣区域；在检测器训练阶段，设计采样优化的困难样本挖掘方法，挖掘困难样本更好的训练检测器；使用感兴趣区域对齐模块，根据感兴趣区域在特征金字塔上裁剪区域特征；使用目标分类头网络和目标框回归头网络，分类和定位目标。本专利技术涉及到以下现有技术：现有文献1：HeKaiming,etal."Deepresiduallearningforimagerecognition."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.现有文献2：Ren,Shaoqing,etal."Fasterr-cnn:Towardsreal-timeobjectdetectionwithregionproposalnetworks."Advancesinneuralinformationprocessingsystems.2015.现有文献3：Shrivastava,Abhinav,AbhinavGupta,andRossGirshick."Trainingregion-basedobjectdetectorswithonlinehardexamplemining."ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016.现有文献4：He,Kaiming,etal."Maskr-cnn."ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017.现有文献1提出残差网络，利用残差链接降低深层网络的训练难度，得出具有强大表征/分类能力的主干特征。现有文献2提出区域生成网络，直接在主干特征上利用预设锚点生成感兴趣区域。现有文献3介绍了在线的困难样本挖掘方法，将样本按损失由大到小排序，采样损失最大的样本。现有文献4介绍了感兴趣区域对齐模块，通过目标每个子区域的计算四个角点的特征值，裁剪对齐的区域特征。本专利技术使用现有技术1提取主干特征；在现有文献2的基础上加入锚点尺寸微调机制；在现有文献3的基础上加入采样比例的限制；使用现有文献4来获取区域特征。
技术实现思路
本专利技术旨在改善小目标检测精度，从而更好的完成无人机目标检测、野外人脸检测等依赖小目标检测的任务。为了达到上述目的，根据本专利技术提供一种面向小目标检测的网络和困难样本挖掘方法,构造颈部网络生成择重小尺度目标的特征金字塔；构造区域生成网络调整锚点尺度并生成感兴趣区域。困难样本挖掘方法即按损失值大小排序样本，分段选定样本的采样概率，生成训练数据。本专利技术至少通过如下技术方案之一实现。一种面向小目标检测的网络和困难样本挖掘方法，包括以下步骤：步骤一、使用主干网络提取当前图像主干特征；步骤二、构造颈部网络，生成特征金字塔；步骤三、构造区域生成网络，生成感兴趣区域；步骤四、基于困难样本挖掘生成训练数据；步骤五、使用感兴趣区域对齐模块裁剪区域特征；步骤六、使用头部网络分类和定位目标，最后输出检测结果。进一步地，步骤一所述的主干网络为50层的残差网络，该残差网络包含五阶，每一阶由若干个残差模块串联而成，特征尺寸相同，相邻各阶之间存在2倍下采样层，下采样后特征尺寸缩小两倍；最终提取的主干特征为主干网络二阶至五阶每阶最后一张特征图的集合。进一步地，步骤二所述的颈部网络主要由三组结构相同的稠密连接串联而成；第一组稠密连接输入主干特征，生成对应的第一级特征金字塔；第二组稠密连接输入第一级特征金字塔，生成对应的第二级特征金字塔；第三组稠密连接输入第二级特征金字塔，生成择重小尺度目标的第三级特征金字塔；所述特征金字塔包括若干种尺寸特征；所述择重小尺度目标指特征金字塔偏向表征小目标。进一步地，所述稠密连接包含10个相同的特征融合连接，稠密连接具体如下：对颈部网络输入特征金字塔的五阶特征连接输出特征金字塔的二阶至五阶特征，输入特征金字塔的四阶特征连接输出特征金字塔的二阶至四阶特征，输入特征金字塔的三阶特征连接输出特征金字塔的二阶和三阶特征，输入特征金字塔的二阶特征连接输出特征金字塔的二阶特征。进一步地，所述特征融合连接的实现包括以下步骤：第一步、使用最近邻上采样层将高阶特征本文档来自技高网...

【技术保护点】
1.一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，包括以下步骤：/n步骤一、使用主干网络提取当前图像主干特征；/n步骤二、构造颈部网络，生成特征金字塔；/n步骤三、构造区域生成网络，生成感兴趣区域；/n步骤四、基于困难样本挖掘生成训练数据；/n步骤五、使用感兴趣区域对齐模块裁剪区域特征；/n步骤六、使用头部网络分类和定位目标，最后输出检测结果。/n

【技术特征摘要】
1.一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，包括以下步骤：
步骤一、使用主干网络提取当前图像主干特征；
步骤二、构造颈部网络，生成特征金字塔；
步骤三、构造区域生成网络，生成感兴趣区域；
步骤四、基于困难样本挖掘生成训练数据；
步骤五、使用感兴趣区域对齐模块裁剪区域特征；
步骤六、使用头部网络分类和定位目标，最后输出检测结果。


2.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤一所述的主干网络为50层的残差网络，该残差网络包含五阶，每一阶由若干个残差模块串联而成，特征尺寸相同，相邻各阶之间存在2倍下采样层，下采样后特征尺寸缩小两倍；最终提取的主干特征为主干网络二阶至五阶每阶最后一张特征图的集合。


3.根据权利要求1所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，步骤二所述的颈部网络主要由三组结构相同的稠密连接串联而成；第一组稠密连接输入主干特征，生成对应的第一级特征金字塔；第二组稠密连接输入第一级特征金字塔，生成对应的第二级特征金字塔；第三组稠密连接输入第二级特征金字塔，生成择重小尺度目标的第三级特征金字塔；
所述特征金字塔包括若干种尺寸特征；所述择重小尺度目标是指特征金字塔偏向表征小目标。


4.根据权利要求3所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，所述稠密连接包含10个相同的特征融合连接，稠密连接具体如下：
对颈部网络输入特征金字塔的五阶特征连接输出特征金字塔的二阶至五阶特征，输入特征金字塔的四阶特征连接输出特征金字塔的二阶至四阶特征，输入特征金字塔的三阶特征连接输出特征金字塔的二阶和三阶特征，输入特征金字塔的二阶特征连接输出特征金字塔的二阶特征。


5.根据权利要求4所述的一种面向小目标检测的网络和困难样本挖掘方法，其特征在于，所述特征融合连接的实现包括以下步骤：
第一步、使用最近邻上采样层将高阶特征放大至低阶特征的尺寸；
第二步、将缩放后的高阶特征与低阶特征元素相加；
第三步、使用2个步长为1，补零填充为1的3*3卷积层处理第二步相加所得的特征。


6.根据权利要求1...

【专利技术属性】
技术研发人员：周靖凯，刘琼，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44