基于改进型级联神经网络的小尺寸目标检测方法与装置制造方法及图纸

本发明专利技术公开了一种基于改进型级联神经网络的小尺寸目标检测方法，其步骤为读入待测图像；通过预处理增强待测图像，获得增强图像；所述预处理包括尺寸填充、尺寸缩放、随机翻转、灰度值正则化；基于高分辨率表示网络根据增强图像生成由高分辨率到低分辨率若干个特征图组成的多分辨率特征图F1；基于半稠密特征金字塔对F1在各个分辨率上进行特征融合后组合得到增强后的特征图F2；使用后卷积P

【技术实现步骤摘要】
基于改进型级联神经网络的小尺寸目标检测方法与装置


[0001]本专利技术属于目标检测
，具体涉及一种基于改进型级联神经网络的小尺寸目标检测方法与装置。

技术介绍

[0002]级联神经网络是基于神经单元组合构建复杂的神经网络的思想。而基于卷积改进的级联神经网络是结合了卷积神经网络中卷积模型参数相对高效和级联网络中级联结构对多种深度特征进行利用的算法，实现在生成包含深层次语义特征的低分辨率(Low-Resolution，LR)特征图像时，也生成包含小尺寸目标语义特征的高分辨率(High-Resolution，HR)特征图。改进型级联神经网络能够增强小尺寸物体的特征强度，降低在深度语义特征里小尺寸目标因为深度卷积的系统性缺陷而造成的特征不足，在无人机视觉、太空安全、农业计数、驾驶辅助等应用中发挥了重要的作用。
[0003]最广为人知的目标尺寸分类标准源自于MS-COCO数据集的评价指标，在其中，面积小于32x32的目标被视作小尺寸目标。自Ross B.Girshick提出Fast R-CNN以来，各种深度学习的方法在各个公开数据集中不断地刷新排行榜分数。Feature Pyramid Network(FPN)将深层次语义特征上采样回较高清特征图进行融合来为浅层特征图提供更丰富的语义信息，You Only Look Twice(YOLT)尝试通过图像切片来规避图像在输入时的尺寸归一化，Scale Normalization for Image Pyramids with Efficient Resampling(SNIPER)通过Chip策略来生成包含小、中尺寸目标的区域再进行二次检测，Hybrid Cascade R-CNN通过在检测时融合语义分割的特征来强化目标的表征能力。但是这些方法在计算代价和模型能力的取舍中都难以令人满意。

技术实现思路

[0004]本专利技术的目的在于，提供一种基于改进型级联神经网络的小尺寸目标检测方法与装置，能够有效提升卷积网络对小尺寸目标的特征表达性能。
[0005]为解决上述技术问题，本专利技术的技术方案为：基于改进型级联神经网络的小尺寸目标检测方法，包括以下步骤:
[0006]S1、读入待测图像；
[0007]S2、通过预处理增强待测图像，获得增强图像；所述预处理包括尺寸填充、尺寸缩放、随机翻转、灰度值正则化；
[0008]S3、基于高分辨率表示网络根据增强图像生成由高分辨率到低分辨率若干个特征图组成的多分辨率特征图F1；
[0009]S4、基于半稠密特征金字塔对F1在各个分辨率上进行特征融合后组合得到增强后的特征图F2；
[0010]S5、使用后卷积P
i
对F2中的层级i进行异化，得到异化特征图F
3,i
；
[0011]S6、对于每一个分辨率层级i，基于特征选择免锚框目标检测头根据F
3,i
生成该层
级的检测结果；
[0012]S7、将检测结果汇总，通过去除重叠的算法对检测结果进行筛选，得到最终检测结果并输出。
[0013]进一步地，所述S2中预处理过程具体为：
[0014]S2.1、将图像的宽、高填充到与32的倍数最接近的尺寸上；
[0015]S2.2、图像在缩放时，保持图像内容的宽高比例不变；
[0016]S2.3、基于应用场景中目标的特性进行图像翻转；
[0017]S2.4、对场景进行数值统计，求得图像灰度值的平均值和方差，对输入图像进行灰度值正则化。
[0018]进一步地，所述S3具体为：
[0019]S3.1、利用kKnNsSpP卷积块、若干N1→
N2瓶颈块，对增强图像进行卷积操作和特征图融合，得到第一阶段特征图F
S1
；
[0020]S3.2、对各个分辨率层级特征图F
Si
或第一阶段特征图F
S1
进行交叉融合；
[0021]S3.3、对于第i大的分辨率层级，利用若干串联的基础块得到同分辨率的特征图，并在最小的分辨率层级上利用w
i
→
w
j
转移块增加一个较低分辨率层级的特征图；
[0022]S3.4、如果分辨率层级数量没有达到m，则返回至S3.2；
[0023]S3.5、输出m个分辨率层级的特征图，组成多分辨率特征图F1。
[0024]进一步地，所述S4中得到若干不同分辨率层级上的增强特征图的具体方法为，根据下式计算：
[0025]I
j
＝concatenate[{C
i
→
j
|1≤i≤m}][0026]式中，i为特征图C的源层级，j为目标层级，C
i
→
j
为将C的分辨率从层级i调整到层级j得到的特征图，I
j
为层级j上各个子图级联成的增强特征图F2。
[0027]更进一步地，所述卷积块为kKnNsSpP卷积块，其中kKnNsSpP卷积块的形成过程为，先利用核尺寸为K、卷积层数为N、步长为S、填充宽度为P的卷积层进行特征提取，当S>1时，也对特征图的分辨率进行调整；再利用一层BatchNorm层进行特征激活值的分布调整。
[0028]更进一步地，所述N1→
N2瓶颈块的形成过程为，
[0029]利用一层即核尺寸为1、卷积层数为步长为1、填充宽度为0的卷积块进行通道下降；
[0030]利用一层即核尺寸为3、卷积层数为步长为1、填充宽度为1的卷积层进行特征提取；
[0031]利用一层k1nN2s1p0，即核尺寸为1、卷积层数为N2、步长为1、填充宽度为0倒置的卷积块进行通道上升；
[0032]将瓶颈块的输入特征图按特征像素对位相加到输出特征图上，如果N1≠N2，利用一层k1nN2s1p0，即核尺寸为1、卷积层数为N2、步长为1、填充宽度为0的卷积层对输入特征图进行通道调整；
[0033]所述倒置的卷积块的形成过程为，先利用一层BatchNorm层进行特征激活值的分布调整；再利用核尺寸为K、卷积层数为N、步长为S、填充宽度为P的卷积层进行特征提取，当
S>1时，也对特征图的分辨率进行调整。
[0034]更进一步地，所述基础块的形成过程为，
[0035]利用两层k3nNs1p1，即核尺寸为3、卷积层数为N、步长为1、填充宽度为1的卷积层进行特征提取；
[0036]将输入特征图按特征像素对位相加到输出特征图上。
[0037]进一步地，在所述S7中，
[0038]所述结果汇总，是将各个层级检测到的建议框添加到一个总的集合中；
[0039]所述去除重叠算法，是根据建议框的两两之间的交并比关系，以保留较高置信度为标准，去除交并比大于阈值而置信度较低的那个建议框；
[0040]所述建议框，指的是由检测头从特征图当中计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进型级联神经网络的小尺寸目标检测方法，其特征在于,包括以下步骤:S1、读入待测图像；S2、通过预处理增强待测图像，获得增强图像；所述预处理包括尺寸填充、尺寸缩放、随机翻转、灰度值正则化；S3、基于高分辨率表示网络根据增强图像生成由高分辨率到低分辨率若干个特征图组成的多分辨率特征图F1；S4、基于半稠密特征金字塔对F1在各个分辨率上进行特征融合后组合得到增强后的特征图F2；S5、使用后卷积P
i
对F2中的层级i进行异化，得到异化特征图F
3,i
；S6、对于每一个分辨率层级i，基于特征选择免锚框目标检测头根据F
3,i
生成该层级的检测结果；S7、将检测结果汇总，通过去除重叠的算法对检测结果进行筛选，得到最终检测结果并输出。2.根据权利要求1所述的基于改进型级联神经网络的小尺寸目标检测方法，其特征在于，所述S2中预处理过程具体为：S2.1、将图像的宽、高填充到与32的倍数最接近的尺寸上；S2.2、图像在缩放时，保持图像内容的宽高比例不变；S2.3、基于应用场景中目标的特性进行图像翻转；S2.4、对场景进行数值统计，求得图像灰度值的平均值和方差，对图像进行灰度值正则化。3.根据权利要求1所述的基于改进型级联神经网络的小尺寸目标检测方法，其特征在于，所述S3具体为：S3.1、利用kKnNsSpP卷积块、若干N1→
N2瓶颈块，对增强图像进行卷积操作和特征图融合，得到第一阶段特征图F
S1
；S3.2、对各个分辨率层级的特征图或第一阶段特征图进行交叉融合；S3.3、对于第i大的分辨率层级，利用若干串联的基础块得到同分辨率的特征图，并在最小的分辨率层级上利用w
i
→
w
j
转移块增加一个较低分辨率层级的特征图；S3.4、如果分辨率层级数量没有达到m，则返回至S3.2；S3.5、输出m个分辨率层级的特征图，组成多分辨率特征图F1。4.根据权利要求1所述的基于改进型级联神经网络的小尺寸目标检测方法，其特征在于，所述S4中得到若干不同分辨率层级上的增强特征图的具体方法为，根据下式计算：I
j
＝concatenate[{C
i
→
j
|1≤i≤m}]式中，i为特征图C的源层级，j为目标层级，C
i
→
j
为将C的分辨率从层级i调整到层级j得到的特征图，I
j
为层级j上各个子图级联成的增强特征图F2。5.根据权利要求3所述的基于改进型级联神经网络的小尺寸目标检测方法，其特征在于，所述kKnNsSpP卷积块的形成过程为，先利用核尺寸为K、卷积层数为N、步长为S、填充宽度为P的卷积层进行特征提取，当S>1时，也对特征图的分辨率进行调整；再...

【专利技术属性】
技术研发人员：韦纪辛，鲁统伟，辛志勐，肖宇，徐子昕，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：