一种基于视差分割的目标检测方法技术

本发明专利技术公开了一种基于视差分割的目标检测方法，建立3个网络结构相同的检测分支，用于进行多尺度目标识别，与其他多尺度网络不同的是，每个检测分支只接收经视差分割后、对应距离尺度下的图像信息，除此之外，在图像信息被传入每个分支前，其分辨率都进行了指定的变换，以加强目标的特征信息表达能力，在网络的最后，各个尺度分支的检测结果经过放缩、合并后，得到完整的检测结果。与其他多尺度检测方法相比，基于视差分割的多尺度检测网络对于中远距离小目标的检测更为精确可靠。远距离小目标的检测更为精确可靠。远距离小目标的检测更为精确可靠。

【技术实现步骤摘要】
一种基于视差分割的目标检测方法


[0001]本专利技术属于目标检测
，涉及一种图像分割方法，具体涉及一种基于视差分割的目标检测方法。

技术介绍

[0002]近年来随着深度学习的迅速发展与进步，深度卷积神经网络在目标检测领域中的应用日渐广泛、成熟。基于卷积神经网络的目标检测网络虽然在结构上存在明显的差异，但都遵循着图像采样、特征提取、在损失函数的指导下对目标进行分类、位置回归的基本训练流程。同时，目标与视点之间距离的不同造成的目标尺度变化也会对各种形式的检测器性能有所影响，尤其是在处理那些位于视野范围内且距离视点较远的小目标，检测器的检测精度会由于目标分辨率过小、特征提取不完全、冗余信息干扰等原因发生下降。
[0003]针对目标尺度随视点距离变化的问题，现有技术通过改变图像自身的分辨率来训练图像各个尺度的目标，从而达到多尺度检测的效果，但这种方法的计算量大、耗费时间长。特征融合的方法通过在不同尺度层次上提取特征，并针对每一对应尺度的特征图进行预测，但由于网络直接融合了各个尺度的特征，并不能很好地利用多尺度特征，在进行特定尺度的预测时，图像中不属于该尺度的冗余图像信息的传递也会导致检测精度降低。以上针对目标尺度变化造成模型性能下降的解决方案，很大程度上都改善了网络针对小目标的检测性能。但在提取各个尺度特征的过程中，不属于被提取尺度的冗余信息对网络提取语义信息的干扰问题并没有得到解决。且对于在图像上尺寸相近的远距离小目标与近距离小目标，由于分辨率上的不同，其表达特征的能力不能一概而论。
[0004]在图像检测领域，尚没有完整成熟的技术能完美解决目标尺度变化造成模型性能下降的问题。在提取各个尺度特征的过程中，不属于被提取尺度的冗余信息对网络提取语义信息的干扰问题也亟待解决。

技术实现思路

[0005]针对现有技术的不足，本申请提出了一种基于视差分割的目标检测方法，根据双目图像视差计算每个像素点的深度距离，再基于深度距离对图像进行划分，然后将不同距离尺度的图像输入不同分支的网络中进行针对性检测，最后将每个分支的输出结构进行缩放、合并，得到完整的检测结果，提高检测准确率。
[0006]一种基于视差分割的多尺度检测方法，具体包括以下步骤：
[0007]步骤一、采集待检测的双目图片对，根据双目图片对中左、右图像的视差Disparity，计算图像中每个像素点的深度距离Depth：
[0008][0009]其中，f为双目摄像机的焦距，baseline为双目摄像机两个摄像头之间的基线距离。利用双目图像对。
[0010]步骤二、通过步骤一计算得到的左图像上每个像素点的深度距离Depth，左图像分割为近距离、中距离、远距离3种不同距离尺度的图像。为了避免在图像分割的过程中产生边缘特征损失，在距离尺度相邻的两个区域之间设置了重叠部分，对于深度距离位于重叠范围内的像素点，可以同时显示在两个距离尺度的图像中，缓解由于图像分割带来的信息丢失。将所有像素点的深度距离由小到大进行排序，得到最大值D，然后按照[0,30％D]、[28％D,74％D]、[66％D,D]的范围进行3种不同距离尺度图像的划分。被分割后各个距离对应的图像中，除了处于该距离范围内的像素点，其他部分均不显示，可以避免冗余信息对检测的干扰；然后将中距离图像和远距离图像的分辨率进行增大，近距离图像的分辨率保持不变。
[0011]作为优选，中距离图像和远距离图像的分辨率分别增大2倍和4倍。
[0012]步骤三、收集不同距离尺度下的图像组成数据集，并随机划分成近距离图像组、中距离图像组和远距离图像组，其中中距离图像组和远距离图像组中的图像分辨率与步骤二中对应距离尺度的图像增大同等倍数。
[0013]步骤四、建立3个结构相同的神经网络作为3个检测分支，3个检测分支分别接受步骤三中近距离图像组、中距离图像组和远距离图像组的图像，基于均方误差最小化设置如下优化目标进行网络训练：
[0014][0015]其中，N
cls
表示mini
‑
batch size，N
reg
表示Anchor Locations的个数，L
cls
表示分类损失，L
reg
表示回归损失，j表示检测分支数量，μ代表权重平衡参数。
[0016]作为优选，所述检测分支基于faster r
‑
cnn或cascade r
‑
cnn网络结构。
[0017]步骤五、使用步骤四训练后的网络进行目标检测，将步骤二分割后的近距离、中距离、远距离三种图像分别输入对应距离尺度下的检测分支中，然后将3个检测分支的输出结果缩放到分辨率增大前的尺度，进行拼接后作为最终的目标检测结果。
[0018]作为优选，通过非极大值抑制方法处理重叠的检测框。
[0019]本专利技术具有以下有益效果：
[0020]通过计算视差将深度信息融入目标检测中，提出了一种以目标与视点的距离为基准分割图像的方法，这类方法比按目标在图像中的尺寸大小分割尺度更为精确可靠。通过精确分割各个尺度在图像上对应的区域，再将分割后的图像输入对应尺度的网络分支中进行针对性检测，通过设立多个分支来对各个尺度下的目标进行针对性检测，从而达到删除冗余信息、为小目标提供与之分辨率相符检测器的目的，进一步提升多尺度检测的精度。
附图说明
[0021]图1为实施例中待检测的图片；
[0022]图2为实施例中分割后的近距离图像；
[0023]图3为实施例中近距离预测分支的检测结果；
[0024]图4为实施例中分割后的中距离图像；
[0025]图5为实施例中中距离预测分支的检测结果；
[0026]图6为实施例中分割后的远距离图像；
[0027]图7为实施例中远距离预测分支的检测结果；
[0028]图8为实施例中最终的目标检测结果。
具体实施方式
[0029]以下结合附图对本专利技术作进一步的解释说明。
[0030]一种基于视差分割的多尺度检测方法，具体包括以下步骤：
[0031]步骤一、构建3个网络结构相同的预测分支，使用kitti数据集中的图片进行网络训练。其中中距离图像和远距离图像的分辨率分别增大2倍和4倍。
[0032]步骤二、以图1所示的图像为例，计算左图像上每个像素点的深度距离Depth，再根据深度距离值的大小将左图像划分为近距离、中距离、远距离三个不同距离尺度的图像，近距离、中距离、远距离图像中像素点的深度距离范围分别为[0,77],[71,189],[170,255]，在距离尺度相邻的两个图像之间设置了重叠部分，例如深度距离在[71,77]范围内的像素点，既会出现在近距离图像中，也会出现在中距离图像中，这样可以避免由于图像分割导致的边缘特征损失。而对于深度距离属于对应范围外的像素点则不予显示，可以避免冗余信息对检测的干扰，例如深度距离为45的像素点，只会出现在近距离图像中。分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视差分割的目标检测方法，其特征在于：该方法具体包括以下步骤：步骤一、采集待检测的双目图片对，根据双目图片对中左、右图像的视差Disparity，计算图像中每个像素点的深度距离Depth；其中，f为双目摄像机的焦距，baseline为双目摄像机两个摄像头之间的基线距离；步骤二、通过步骤一计算得到的左图像上每个像素点的深度距离Depth，将左图像分割为远距离、中距离、近距离3种不同距离尺度的图像；具体地，远距离、中距离、近距离三种图像中的像素点深度距离分别为：[0，30％D]、[28％D，74％D]、[66％D，D]，D为左图像上所有像素点的深度距离最大值；然后将中距离图像和远距离图像的分辨率进行增大，近距离图像的分辨率保持不变；步骤三、收集不同距离尺度下的图像组成数据集，并随机划分成近距离图像组、中距离图像组和远距离图像组，其中中距离图像组和远距离图像组中的图像分辨率与步骤二中对应距离尺度的图像增大同等倍数；步骤四、建立3个结构相同的神经网络作为3个检测分支，3个检测分支分别接受步骤三中近距离图像组、中距离图像组和远距离图像组的图像，基于均方误差最小化设置如下优化目标进行网络训练：其中，N
cls
表示mini

【专利技术属性】
技术研发人员：陈婧，李世阳，彭伟民，徐海涛，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：