一种基于图像深度的多分支多尺度小目标检测方法技术

本发明专利技术公开了一种基于图像深度的多分支多尺度小目标检测方法，包括根据双目图像训练集，获取视差图训练集；对视差图进行深度聚类，每一个聚类结果即为一个分支，将聚类结果映射到双目图像中的左图中，提取出初步候选框；分支提取图像特征：不同分支进行不同尺度的上采样操作，获取不同尺度特征图像；将不同尺度特征图像输入到多尺度特征金字塔网络中进行特征融合，获取预测结果；计算分类损失和回归框损失，结合预测结果，获取检测结果。可以有效的识别远距离小目标，提高了远距离小目标的检测在目标检测中的准确度。

【技术实现步骤摘要】
一种基于图像深度的多分支多尺度小目标检测方法
本专利技术涉及目标检测
，尤其涉及一种基于图像深度的多分支多尺度小目标检测方法。
技术介绍
在计算机视觉领域中，目标检测是一个非常活跃的、具有挑战性的研究方向，与分类任务不同，目标检测除了需要识别目标的类别以外，还要定位目标的位置，从而实现定位和识别的任务，在很多现实生活中的应用都与它息息相关。现有的目标检测方法有二维检测方法和三维检测方法，二维检测方法能提供目标物体在二维图像中的位置和对应类别的置信度，但是由于其缺乏深度信息，不能判断物体的远近距离，难以获得检测目标的速度、方向等信息，准确度较低。二维图像中解决小目标最常用的方法是通过上采样来调整网络中输入图像的尺寸，但是，图像金字塔效率较低，因此出现了一些从特征角度出发的工作，导致网络计算变得较为复杂。三维检测方法存在以下问题：(1)针对小物体目标的检测，没有采用更有效的策略。小目标物体由于携带的信息少，因此特征表达能力弱，无法有效的对小目标物体进行准确识别；(2)需要加入一些人工信息，用来弥补缺失的深度信息。这些特定的人工信息以及单一的彩色图像，会限制场景的扩展以及神经网络有效地学习三维空间信息；(3)另外，由于三维检测加入了深度信息，获取这些特征需要花费更长的时间，增加了检测时长。
技术实现思路
本专利技术主要解决原有的远距离小目标的检测在目标检测中准确度较低的技术问题；提供一种基于图像深度的多分支多尺度小目标检测方法，对视差图进行深度聚类，每一个聚类结果即为一个分支，对不同分支进行不同尺度的图像特征提取，再在多尺度特征金字塔中进行特征融合，得到预测结果，将预测结果经分类损失和回归损失优化后得到最终检测结果，可以有效的识别远距离小目标，提高了远距离小目标的检测在目标检测中的准确度。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术包括下列步骤：S1、根据双目图像训练集，获取视差图训练集；S2、对视差图进行深度聚类，每一个聚类结果即为一个分支，将聚类结果映射到双目图像中的左图中，提取出初步候选框；S3、分支提取图像特征：不同分支进行不同尺度的上采样操作，获取不同尺度特征图像；S4、将不同尺度特征图像输入到多尺度特征金字塔网络中进行特征融合，获取预测结果；S5、计算分类损失和回归框损失，结合预测结果，获取检测结果。对视差图进行深度聚类，将聚类结果映射到双目图像中的左图中，提取出初步候选框，每一个聚类结果(初步候选框)即为一个分支，对不同分支进行不同尺度的图像特征提取，再在多尺度特征金字塔中进行特征融合，得到预测结果，将预测结果经分类损失和回归损失优化后得到最终检测结果，可以有效的识别远距离小目标，提高了远距离小目标的检测在目标检测中的准确度。基于视差图提取初步候选框，能够消除目标表面纹理对检测的影响，加快了检测速度。作为优选，所述的步骤S2中的对视差图进行深度聚类，具体包括如下步骤：S21、根据视差图中的距离信息，划分K个深度范围，并随机选择K个深度范围的初始中心；S22、将整体视差图分成若干个小区域，对每个小区域进行如下操作：求小区域到各个深度范围中心的距离，将小区域归属到距离最短的中心所在的深度范围；S23、利用均值更新各个深度范围的中心值；S24、重复步骤S22～S23，直至各个深度范围的中心值不再变化。通过深度范围的聚类，不同距离的目标区域被分离出来，便于后续检测过程中建立不同分支，对不同距离范围内不同灰度值的目标进行分别检测，提高了检测精度。作为优选，所述的步骤S3中的不同分支进行不同尺度的上采样操作，获取不同尺度图像，具体包括如下步骤：S31、根据公式获取目标尺度：其中，N表示目标尺度，d表示图像中需要检测目标的距离，w，h是目标的宽度与高度，b，a，m为系数；S32、根据公式获取每个尺度要进行上采样的倍数：N＝2α+β其中，N表示目标尺度，α代表每个尺度要进行上采样的倍数，β为该分支最近处分支上采样倍数；S33、结合目标尺度及要进行上采样的倍数，进行上采样操作，获取不同尺度特征图像；S34、不同分支都进行步骤S31～S33的操作。对不同分支进行不同尺度的上采样操作，及对图像中不同距离的目标采用不同尺度的缩放，以此获取更加鲁棒的语义信息，平衡检测速度和准确率。作为优选，所述的步骤S4中的将不同尺度特征图像输入到多尺度特征金字塔网络中进行特征融合，获取预测结果，具体包括如下步骤：S41、将不同分支的不同尺度特征图像输入到多尺度特征金字塔网络中；S42、根据公式求出不同分支特征融合所需的网络层数：其中，是输入第i个分支的平均预训练尺寸，k0为平均预训练尺寸时应映射到的目标层，w，h是目标的宽度与高度；S43、将不同分支的不同尺度特征图像分配到多尺度特征金字塔网络中相对应网络层数的分支网络处；S44、分支网络中的向上传送网络将不同尺度特征图像的不同尺度分配给不同层级，分别提取特征；S45、分支网络中的向下传送网络，将上层特征图进行不同尺度的最近邻上采样，下层特征图用1*1卷积核卷积，使上下特征图的通道相同，将上下层对应通道元素进行像素相加，生成所需的特征图，得到预测结果。通过多尺度特征金字塔网络使上采样特征和底层特征能够根据距离信息进行多尺度的融合，提高识别准确率，同时减小了网络计算的复杂度，缩短了检测时间。作为优选，所述的步骤S5中的计算分类损失和回归框损失，结合预测结果，获取检测结果，具体包括如下步骤：S51、通过分类损失函数计算分类损失：其中pi为预测为目标时的概率，为真实值的标签，S52、通过回归损框失函数计算回归框损失：其中，tw为预测出目标的宽度，th为预测出的目标高度，tl为预测出的目标的长度，θσ为预测的目标的角度，wth为目标的真实宽度，hth为目标的真实高度，lth为目标的真实长度；S53、通过多分支损失函数计算多分支损失：其中，n是分支的个数，是分类损失，是回归框损失，λ1、λ2取1；S54、通过多分支损失优化预测结果，获取检测结构。作为优选，所述的步骤S45中的将上下层对应通道元素进行像素相加后再在其后加一个用于消除上采样混叠效应的3*3卷积。将上下层对应通道元素进行像素相加后再在其后加一个3*3卷积，消除了上采样混叠效应，提高识别准确率。本专利技术的有益效果是：1)通过深度范围的聚类，对图像中不同距离的目标区域进行分割处理，建立不同的分支，对不同距离范围内不同灰度值的目标进行分别检测，提高了目标的识别准确率，提高了目标检测的准确度；2)各个分支在运行处理过程中，除了使用多尺度特征金字塔网络中的不同分支进行上采样特征和底层特征的融合，其余网络结构相同，因此各个分支之间可以通过共享权重降低网络计算的复杂度，缩短了检本文档来自技高网...

【技术保护点】
1.一种基于图像深度的多分支多尺度小目标检测方法，其特征在于包括下列步骤：/nS1、根据双目图像训练集，获取视差图训练集；/nS2、对视差图进行深度聚类，每一个聚类结果即为一个分支，将聚类结果映射到双目图像中的左图中，提取出初步候选框；/nS3、分支提取图像特征：不同分支进行不同尺度的上采样操作，获取不同尺度特征图像；/nS4、将不同尺度特征图像输入到多尺度特征金字塔网络中进行特征融合，获取预测结果；/nS5、计算分类损失和回归框损失，结合预测结果，获取检测结果。/n

【技术特征摘要】
1.一种基于图像深度的多分支多尺度小目标检测方法，其特征在于包括下列步骤：
S1、根据双目图像训练集，获取视差图训练集；
S2、对视差图进行深度聚类，每一个聚类结果即为一个分支，将聚类结果映射到双目图像中的左图中，提取出初步候选框；
S3、分支提取图像特征：不同分支进行不同尺度的上采样操作，获取不同尺度特征图像；
S4、将不同尺度特征图像输入到多尺度特征金字塔网络中进行特征融合，获取预测结果；
S5、计算分类损失和回归框损失，结合预测结果，获取检测结果。


2.根据权利要求1所述的一种基于图像深度的多分支多尺度小目标检测方法，其特征在于所述步骤S2中的对视差图进行深度聚类，具体包括如下步骤：
S21、根据视差图中的距离信息，划分K个深度范围，并随机选择K个深度范围的初始中心；
S22、将整体视差图分成若干个小区域，对每个小区域进行如下操作：求小区域到各个深度范围中心的距离，将小区域归属到距离最短的中心所在的深度范围；
S23、利用均值更新各个深度范围的中心值；
S24、重复步骤S22～S23，直至各个深度范围的中心值不再变化。


3.根据权利要求1所述的一种基于图像深度的多分支多尺度小目标检测方法，其特征在于所述步骤S3中的不同分支进行不同尺度的上采样操作，获取不同尺度图像，具体包括如下步骤：
S31、根据公式获取目标尺度：



其中，N表示目标尺度，d表示图像中需要检测目标的距离，w，h是目标的宽度与高度，b，a，m为系数；
S32、根据公式获取每个尺度要进行上采样的倍数：
N＝2α+β
其中，N表示目标尺度，α代表每个尺度要进行上采样的倍数，β为该分支最近处分支上采样倍数；
S33、结合目标尺度及要进行上采样的倍数，进行上采样操作，获取不同尺度特征图像；
S34、不同分支都进行步骤S31～S33的操作。


4.根据权利要求1所述的一种基于图像深度的多分支多尺度小目标检测方法，其特征在...

【专利技术属性】
技术研发人员：陈婧，王其超，彭伟民，徐海涛，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33