一种基于深度图的运动障碍物检测及定位方法技术

一种基于深度图的运动障碍物检测及定位方法，涉及一种基于双目视觉深度图像的运动障碍物检测与定位方法。本发明专利技术为了解决现有基于视觉的障碍物检测与定位方法存在的计算量大、实时性较差、难以区分图像特征较为相似的障碍物与周围环境的问题。本发明专利技术通过平行配置的双目摄像机采集深度图，并对深度图像进行去噪、二值化等处理获得候选障碍物在图像中的轮廓，然后将候选障碍物所在位置转换到局部地理坐标系中，结合空间位置关系去除特定位置干扰，并使用卡尔曼滤波的方式对障碍物的运动状态进行估计，提到对于障碍物的定位准确度。本发明专利技术适用于基于双目视觉深度图像的运动障碍物检测与定位。

【技术实现步骤摘要】
一种基于深度图的运动障碍物检测及定位方法
本专利技术涉及数字图像处理与信息融合领域，具体涉及双目视觉中的深度图处理方法。
技术介绍
无人机是一种无人驾驶的，通过遥控或者机载控制设备进行飞行的飞机。无人机由于不受载人因素制约，通常体积较小、机动性较强、造价也更为低廉，因此近年来逐渐成为了研究的热点。根据机身结构的不同，无人机可以分为旋翼式无人机与固定翼式无人机。V.Kumar等人曾论证在小负载的情况下，正交多旋翼飞行器的机动性要好于其他类型的飞行器。四旋翼飞行器作为多旋翼飞行器的代表，受到了越来越多的关注。同时传感器技术、计算机技术以及数据处理技术的快速发展，使得各类传感器与处理器呈现出低功耗、小型化的趋势，这为无人机自主飞行并执行特定任务提供了可能。现阶段，无人机已经在搜索救援、农业植保以及自动放牧等领域表现出很大的发展潜力。然而，由于无人机感知外界环境的相关技术仍然不成熟，这极大地限制了无人机在这些领域的进一步发展。运动物体检测技术是实现无人机与目标机器人交互同时自动避障的关键技术与前提条件。目前，无人机感知运动物体主要是通过雷达和计算机视觉进行。现有的小型雷达已经可以在小型无人机上使用。但是由于需要满足线检测的条件，所以传感器覆盖的视野十分受限。同时由于无人机的体积与负载的限制，很难设置增大其视野范围的机械结构。而随着图像技术的不断方法，基于视觉的障碍物信息检测也不断成熟和丰富，因此采用视觉传感器的方法感知周边环境，检测运动物体已经成为一种趋势。视觉传感器避障的配置方案可以分为单目相机目和多目相机。单目相机目和多目相机各有优劣，单目相机硬件配置简单，计算量较小，但是由于获取的信息相对较少，尤其是难以获得图像深度信息，因此难以对运动的物体进行准确定位；多目相机硬件配置较为复杂，计算量也较大，但是与单目相机相比能够较好地解决图像深度的获取问题，较为适合对运动物体的检测，但是对于图像信息的处理也相对复杂。障碍物的检测方法关键在于如何更好地描述障碍物特征。针对这个问题，研究者们做了大量的研究，也提出了众多人工设计的特征描述方法。此类特征主要是基于设计者本身对于障碍物特征的理解，往往具有易于理解、便于调整改进的优点，因此也被广泛应用于各类障碍物检测算法中。早在1998年，C.P.Papageorgiou就提出了Haar特征，之后的2002年，R.Lienhart与J.Maydt对Haar特征库进行扩展，加入了对角特征。1999年，D.G.Lowe提出了基于梯度特征的SIFT(ScaleInvariantFeatureTransform)方法，并于2004年对该方法进行了进一步的完善，该方法具有较好的尺度不变性与旋转不变性，即改变图像的拍摄角度以及周围环境亮度不会影响特征点的提取效果。2005年，N.Dalal等提出了针对静态图像物体检测的HOG方法。该方法通过统计图像局部区域的梯度方向直方图来构成待检测物体的特征。由于HOG方法的处理对象是图像中的局部连通区域，所以它对图像中物体的几何形变与光学形变都能有较好的适应性。2008年，P.Felzenszwalb对HOG方法进行了一些优化和改进，提出了DPM，(DeformablePartsModel)方法，该系统将DPM与LatentSVM结合，取得了极好的检测效果。此外，随着GPU并行计算能力的不断加强，利用模型和网络逐渐拟合出图像特征的方法逐渐被应用起来。1998年，Y.LeCun等人就提出了LeNet-5网络。2012年，A.Krizhevsky等人在LeNet-5网络的基础上进行了深入和改进，提出了AlexNet网络。该网络增加了网络的层数以及各层之间的卷积核数，从而大幅增加了网络的可训练参数，提高了网络的检测能力。2015年产生了VGG网络与GoogLeNet网络[18]。VGG网络在AlexNet网络的基础上继续复杂化，值得一提的是，VGG网络首次提出了采用多个小卷积核来替代一个大卷积核的做法。在该网络中，全部的卷积核大小均为3×3，但是通过使用多次使用来模拟更大的卷积核，如5×5、7×7等。而这种做法也被后来的网络广泛采用。GoogLeNet的代表性贡献则是提出了Inception模块，在该模块中不单单是多个卷积核的组合，而且加入了瓶颈层以减少运算量，从而实现在保证检测效果的情况，消耗更少的计算量。2016年，何恺明等人提出了ResNet网络。此外，针对图像处理领域，又有基于区域提名的R-CNN网络、SPP-Net网络、FastR-CNN网络、FasterR-CNN网络以及无需区域提名的的YOLO网络与SSD网络。此类网络的检测效果往往比传统的图像特征描述方法更好，但是需要很大的计算量。综上所述，现有的图像处理算法虽然往往能实现较好的效果，但是针对某些特定情况却会存在一些问题。常规的障碍物检测往往集中于对于视野中被识别目标特征的识别，但是在实际环境中往往存在一些特征比较相似，或者特征难以描述的情况。而利用模型和网络逐渐拟合出图像特征的检测方法，诸如深度学习网络FasterR-CNN、YOLO等由于所需的计算量较大，因此难以在机载平台上在线实时运行，实用性较差。
技术实现思路
本专利技术为了解决现有的障碍物检测方法所存在的难以识别某些特征与环境相似的障碍物以及计算量较大、难以快速高效运行的问题。一种基于深度图的运动障碍物检测及定位方法，包括以下步骤：步骤一、将八个焦距相等、内部参数一致的摄像头分为四组，每组两个，即构成四组双目摄像头。将四组双目摄像头分别安装到四旋翼飞行器的前、后、左、右四个方向上。将每组双目摄像头按照平行配置方式进行配置，并建立平型配置双目摄像头的成像模型；步骤二、摄像头同时采集视频图像，获取每组双目摄像头所形成的深度图。并以灰度图的形式显示出来；步骤三、对获取到的深度图进行二值化处理，得到黑白二值图像，然后进行形态学处理，并提取图像中的轮廓；步骤四、去除图像中长宽比以及像素数量不满足要求的轮廓，计算出每个轮廓对应的候选障碍物在相机坐标系下的位置，并计算剩下轮廓之间的极角，将极角小于一定值的两个轮廓合并为一个轮廓，得到候选障碍物在图像坐标系中的位置；步骤五、利用四旋翼飞行器惯性测量单元的相关信息，求取每个轮廓对应的候选障碍物在局部地理坐标系下的位置；步骤六、去除在局部地理坐标系下高度在特定区间内候选障碍物，得到最终检测到的障碍物；步骤七、利用卡尔曼滤波方法对障碍物的运动状态进行估计，最终获得障碍物的运动轨迹。进一步地，步骤一所述的将每组双目摄像头按照平行配置方式进行配置的过程包括以下步骤：将两个焦距相等、内部参数一致的摄像头C1与C2以光轴互相平行的方式固定。由于光轴与图像平面垂直，使得两个摄像机的图像坐标系的y轴互相平行，x轴互相重合。可以认为将一个摄像机沿其x轴平移一段距离后便与另一个摄像机完全重合。进一步地，步骤一所述的建立平行配置双目摄像头的成像模型的过程包括以下步骤：首先确定平行配置双目摄像头C1与C2的两个坐标系仅在x轴上相差的平移距离b，即为基线长度。接下来假设C1的坐标系为OlXlYlZl，C2的坐标系为OrXrYrZr，在上述摄像机配置下，空间点P(Xc,Yc,Zc)在C1坐标系下为(Xl,Yl,Zl)，在C2本文档来自技高网...

【技术保护点】
1.一种基于深度图的运动障碍物检测及定位方法，其特征在于，包括以下步骤：步骤一、将八个焦距相等、内部参数一致的摄像头分为四组，每组两个，即构成四组双目摄像头；将四组双目摄像头分别安装到四旋翼飞行器的前、后、左、右四个方向上；将每组双目摄像头按照平行配置方式进行配置，并建立平型配置双目摄像头的成像模型；步骤二、摄像头同时采集视频图像，获取每组双目摄像头所形成的深度图；并以灰度图的形式显示出来；步骤三、对获取到的深度图进行二值化处理，得到黑白二值图像，然后进行形态学处理，并提取图像中的轮廓；步骤四、去除图像中长宽比以及像素数量不满足要求的轮廓，计算出每个轮廓对应的候选障碍物在相机坐标系下的位置，并计算剩下轮廓之间的极角，将极角小于预设值的两个轮廓合并为一个轮廓，得到候选障碍物在图像坐标系中的位置；步骤五、利用四旋翼飞行器惯性测量单元的相关信息，求取每个轮廓对应的候选障碍物在局部地理坐标系下的位置；步骤六、去除在局部地理坐标系下高度在特定区间内候选障碍物，得到最终检测到的障碍物；步骤七、利用卡尔曼滤波方法对障碍物的运动状态进行估计，最终获得障碍物的运动轨迹。

【技术特征摘要】
1.一种基于深度图的运动障碍物检测及定位方法，其特征在于，包括以下步骤：步骤一、将八个焦距相等、内部参数一致的摄像头分为四组，每组两个，即构成四组双目摄像头；将四组双目摄像头分别安装到四旋翼飞行器的前、后、左、右四个方向上；将每组双目摄像头按照平行配置方式进行配置，并建立平型配置双目摄像头的成像模型；步骤二、摄像头同时采集视频图像，获取每组双目摄像头所形成的深度图；并以灰度图的形式显示出来；步骤三、对获取到的深度图进行二值化处理，得到黑白二值图像，然后进行形态学处理，并提取图像中的轮廓；步骤四、去除图像中长宽比以及像素数量不满足要求的轮廓，计算出每个轮廓对应的候选障碍物在相机坐标系下的位置，并计算剩下轮廓之间的极角，将极角小于预设值的两个轮廓合并为一个轮廓，得到候选障碍物在图像坐标系中的位置；步骤五、利用四旋翼飞行器惯性测量单元的相关信息，求取每个轮廓对应的候选障碍物在局部地理坐标系下的位置；步骤六、去除在局部地理坐标系下高度在特定区间内候选障碍物，得到最终检测到的障碍物；步骤七、利用卡尔曼滤波方法对障碍物的运动状态进行估计，最终获得障碍物的运动轨迹。2.根据权利要求1所述的一种基于深度图的运动障碍物检测及定位方法，其特征在于，步骤一所述的将每组双目摄像头按照平行配置方式进行配置的过程包括以下步骤：将两个焦距相等、内部参数一致的摄像头C1与C2以光轴互相平行的方式固定；由于光轴与图像平面垂直，使得两个摄像机的图像坐标系的y轴互相平行，x轴互相重合；将一个摄像机沿其x轴平移一段距离后便与另一个摄像机完全重合。3.根据权利要求2所述的一种基于深度图的运动障碍物检测及定位方法，其特征在于，步骤一所述的建立平行配置双目摄像头的成像模型的过程包括以下步骤：首先确定平行配置双目摄像头C1与C2的两个坐标系仅在x轴上相差的平移距离b，即为基线长度；设定C1的坐标系为OlXlYlZl，C2的坐标系为OrXrYrZr，在上述摄像机配置下，空间点P(Xc,Yc,Zc)在C1坐标系下为(Xl,Yl,Zl)，在C2坐标系下为(Xl-b,Yr,Zr)；同时设P点在左摄像头C1的图像平面和右摄像头C2的图像平面上的图像像素坐标为(u1,v1)，(u2,v2)；根据平行配置方法的特点可得到v1＝v2，令视差d＝u1-u2，则根据几何关系可求得：其中Q为中间矩阵；W为系数；其中(u0,v0)为主点在左摄像头图像上的横、纵坐标，u'0为主点在右摄像头图像上的横坐标，f为两个摄像头的焦距(双目摄像头C1与C2的焦距)；在双目相机平行配置的条件下，u0＝u'0，矩阵Q右下角元素值为0；进而得到点P在三维空间的坐标为：4.根据权利要求3所述的一种基于深度图的运动障碍物检测及定位方法，其特征在于，步骤二的具体过程包括以下步骤：步骤二一、以左摄像头图像平面上的一点为中心选定一区域(窗口)，由该区域内的像素灰度分布来表征该像素；在右摄像头图像平面上沿水平线在搜索范围内取出窗口大小相同的像素邻域；步骤二二、利用绝对误差和算法(SAD算法)依次与待匹配的窗口进行匹配代价计算，找到搜索范围内SAD值最小的窗口，作为与待匹配窗口最佳匹配的像素块；SAD算法的具体计算公式如下所示：其中，(i,j)为窗口的左上角坐标；M与N为窗口的长度与宽度；S(i+s-1,j+t-1)，T(s,t)分别为右摄像机图像与左摄像机图像的像素灰度值之和；选取DSAD(i,j,d)值最小的窗口作为匹配窗口；d值为所求的视差；视差图利用SAD算法得到，在得到视差图后，根据得到的平行配置双目摄像头的成像模型求得任意点的三维深度，生成原始深度图；步骤二三、对原始深度图进行预处理，将其转换为8位单通道灰度图以方便显示；原始深度图每个像素点存储的数据范围是0至32767，以毫米为单位；根据检测范围将灰度值的单位转化为设定值α，单位是厘米；根据上述需求对深度图的数据进行压缩，压缩公式如下所示：其中，d16为原始深度图每个像素的数据，d8为预处理之后的深度图数据；然后将得到的数据进行四舍五入，以满足8位单通道灰度图的显示要求。5.根据权利要求4所述的一种基于深度图的运动障碍物检测及定位方法，其特征在于，步骤三的具体过程包括以下步骤：步骤三一、观察深度图可以发现深度图中的噪点集中的灰度值区间，确定二值化处理的图像阈值，得到黑白二值图像；步骤三二、利用数学形态学处理方法中的腐蚀和膨胀算子对二值图像进行操作，去除噪声点和填补目标区域中的小孔；膨胀算子的具体计算公式如...

【专利技术属性】
技术研发人员：于庆涛，贺风华，姚郁，姚昊迪，马杰，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23