复杂环境下无人机自动障碍物检测和避障方法技术

本发明专利技术涉及一种复杂环境下无人机自动障碍物检测和避障方法，包括：利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；基于所得到的最终障碍物区域，输出无人机避障的动作指令。本发明专利技术在面对的复杂的存在多个隐含障碍物的环境下，具有优秀的障碍物检测和避障能力。

Automatic obstacle detection and obstacle avoidance for unmanned aerial vehicle in complex environment

The invention relates to an automatic non obstacle detection and obstacle avoidance method, complex environment including: the binocular camera set on the UAV real-time image acquisition, matching disparity map is generated and preprocesses the collected two images based on the left and right; based on the disparity map information, clustering the contour and gray value of disparity map, get the regional block has a clear structure, will remove the noise of the regional block after the potential barrier region; potential barrier region corresponding to the two frames in the disparity map contrast, combined with the amplification characteristics of obstacles, on the basis of UAV and the potential barrier region distance and the potential obstacle area to get the final screening obstacle region; the final obstacle region based on the output of UAV obstacle avoidance action. The present invention has excellent obstacle detection and obstacle avoidance capability in the presence of complex presence of multiple concealed obstacles.

【技术实现步骤摘要】
复杂环境下无人机自动障碍物检测和避障方法
本专利技术涉及计算机视觉和无人机控制领域，尤其涉及一种复杂环境下无人机自动障碍物检测和避障方法。
技术介绍
随着无人机等智能系统的广泛研究和应用，障碍物的检测和避障逐渐成为研究的热点。安全性是无人机等智能系统能得以广泛应用的前提条件。在无人机的实时运动过程中，通过对摄像头拍摄到的复杂场景的图像进行分析获得障碍物的位置仍是一个非常具有挑战性的研究问题。经过许多年的发展，基于视觉的障碍物检测方法已日趋成熟。基于视觉的障碍物检测方法可以大体分为单眼视觉和双眼视觉。单眼视觉中的典型方法是根据角点特征来标注障碍物区域，再对比两幅图片匹配特征点，找到移动的对象作为障碍物区域。为了避免角点过多导致噪声影响障碍物的定位，一般会先将图片分为三个部分，即地面、天空和中间障碍物所在区域，这样可以缩小检测区域。单眼视觉的方法适用于障碍物很明显而且背景很干净，通过差分颜色就可以得到与背景颜色明显不同的障碍物区域，一般背景可以是地面和天空。然而，移动的区域不一定就是障碍物，障碍物是对智能体产生威胁的对象，如果障碍物的移动对于智能体来说没有危险，那就没有必要确定为障碍物。例如，当某个视野内的对象在远离智能体或者水平的在智能体面前走过，这就不是障碍物，而如果对象朝向无人机移动那就是有危险的障碍物了。双目视觉相较于单眼视觉的好处是它可以探测深度信息。双目视觉技术已经取得了很大的进展，通过校准和立体匹配可以得到视差图，视差图清晰地反映了图像中的对象相对于摄像头的远近关系。一般认为图像中的前景很可能就是障碍物，因此，设定适当的阈值提取前景是使用双目视觉解决障碍物检测的核心思想。一般现有的方法尽量采用鲜明的障碍物区域，它们具有与背景差别很大的颜色或纹理特征，在得到前景区域后投射回原图像，在原图像上根据颜色信息提取该前景区域内颜色差别不大的区域作为最终障碍物的区域。这些方法的限制在于仅仅适用于该颜色阈值或某个特定特征下的障碍物检测，而且要求背景较干净得以突出前景，这样设定的阈值才会具有一定的鲁棒性。但是，障碍物并不一定满足颜色就是一致，某个障碍物由不同颜色组成也是可能的。还有一些基于超声波、声呐等传感器的障碍物检测方法，这些传感器能够探测智能体周围的环境，但是在复杂的环境下，多个超声波信息交错在一起容易产生混淆。而且任何传感设备都不是完美的，总会存在盲区或受外界噪声的干扰，这就导致了准确性的降低。纵观已有的障碍物检测方法，虽然在解决某些特定问题上面已经取得了一些进展，但是，他们都是从问题表面出发，设计好适合于该类问题的场景来检测试验，并未深入地理解障碍物的本质特征以至于某种方法仅能解决一个问题。此外，障碍物检测的实际应用主要在无人机等智能系统，它们灵活的移动在复杂的场景中，我们应充分考虑智能系统面对的复杂的存在多个隐含障碍物下的环境，设计出能够实时地检测具有危险的障碍物并执行避障指令。本专利技术结合人脑对图像的注意力划分和对障碍物的特征分析，使用双目视觉技术结合图像预处理得到视差图，基于轮廓和灰度值划分视差图得到候选障碍物区域，再根据障碍物的放大特征对比前后两帧得到精确的障碍物区域。对于检测到的障碍物，无人机采取实时的避障行为。
技术实现思路
为了解决现有技术中的上述问题，即为了解决无人机能够在复杂的环境下实时的检测到障碍物并获取避障指令，本专利技术提出了一种复杂环境下无人机自动障碍物检测和避障方法，包括以下步骤：步骤S1，利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；步骤S2，基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；步骤S3，对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；步骤S4，基于步骤S3所得到的最终障碍物区域，输出无人机避障的动作指令。优选地，步骤S1中基于所采集的左、右两幅图像匹配计算生成视差图的方法具体为：基于立体匹配GraphCut算法中的SGBM算法，对所述双目摄像头所采及的左、右两幅图像进行校准，通过调整SGBM参数得到视差图。优选地，步骤S1中对视差图进行的预处理包括：根据校准后图像与原图像对比，直接去除视差图上两边的灰度信息干扰，得到第一视差图；对第一视差图中灰度值差异大于设定阈值且面积小于设定阈值的白色块进行腐蚀处理，得到第二视差图；对第二视差图进行图像平滑处理得到清晰的视差图。优选地，步骤S2所述潜在障碍物区域，其获取步骤包括：步骤S21,获取步骤1输出视差图的轮廓信息；步骤S22，在各轮廓内部对灰度值进行聚类，形成多个对象区域块，每个对象区域块之间具有明显的灰度差异，并且对象区域块具有完整的区域轮廓；步骤S23，分别选取各轮廓内面积大于设定阈值的对象区域块，针对所选取的对象区域块分别绘制最小外接矩形框；步骤S24，计算各对象区域块的灰度值gray(i)、以及灰度值阈值gray0，选择gray(i)>gray0的对象区域块作为潜在障碍物区域。优选地，步骤S22中对灰度值进行聚类，具体包括：步骤S221，对步骤S21中获取的轮廓绘制最小外接矩形框，并获取所述矩形框内的各个像素点的灰度信息；步骤S222，在每个矩形框内，去除灰度值小于预设的类内灰度差阈值的背景像素点；步骤S223，并将步骤S222中每个矩形框内所去除的第一个背景像素点分别作为单独的一类，并记录其灰度值；步骤S224，在每个矩形框内，逐个遍历每一个像素点，若其与已有类别的灰度值之差小于类内灰度差阈值则将该像素点归为对应类，否则将该像素点自为一类；步骤S225，重复步骤S223和S224，直到所有的矩形框都聚类完毕。优选地，步骤S24具体包括：步骤S241，计算步骤S23中获取的各最小外接矩形框的灰度值作为对应对象区域块的灰度值gray(i)；步骤S242，计算步骤S23所选取的所有对象区域块的灰度值均值作为灰度值阈值gray0；步骤S243，选取gray(i)>gray0的对象区域块作为潜在障碍物区域。优选地，步骤S3中获得最终障碍物区域的步骤包括：步骤S31，获取当前帧视差图和上一帧视差图；步骤S32，将当前帧视差图中潜在障碍物区域与上一帧视差图对应的潜在障碍物区域进行面积大小的对比，若大于则判断为候选障碍物所在的区域；步骤S33：步骤S32输出的候选障碍物所在的区域为两个或两个以上时，对危险程度d(i)进行计算，d(i)＝α*gray(i)+(1-α)*size(i)其中α为比例系数，gray(i)为第i个对象区域块的平均灰度值，size(i)为第i个对象区域块的最小外接矩形周长，d(i)则为第i个对象区域块的危险系数值；选择最危险程度d(i)最大的候选障碍物所在的区域为最终障碍物区域。优选地，步骤S4中无人机采取避障行为的过程包括以下步骤：步骤S41，选取步骤S3得到的最终障碍物区域的最小外接矩形的中心坐标作为最终障碍物区域的中心坐标；步骤S42，先是执行后退动作躲避障碍物，再根据障碍物的中心坐标计算障碍物区域相对于无人机位置；步骤S43，依据步骤S42中所计算本文档来自技高网...

【技术保护点】
一种复杂环境下无人机自动障碍物检测和避障方法，其特征在于，包括以下步骤：步骤S1，利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；步骤S2，基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；步骤S3，对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；步骤S4，基于步骤S3所得到的最终障碍物区域，输出无人机避障的动作指令。

【技术特征摘要】
1.一种复杂环境下无人机自动障碍物检测和避障方法，其特征在于，包括以下步骤：步骤S1，利用无人机上设置的双目摄像头进行实时的图像采集，基于所采集的左、右两幅图像匹配计算生成视差图并进行预处理；步骤S2，基于视差图信息，对视差图进行轮廓和灰度值的聚类划分，得到具有清晰结构的区域块，将所述区域块的噪声干扰去除后得到潜在障碍物区域；步骤S3，对比前后两帧视差图中对应的潜在障碍物区域，结合障碍物的放大特性，依据无人机与潜在障碍物区域的距离和潜在障碍物区域的面积筛选得到最终障碍物区域；步骤S4，基于步骤S3所得到的最终障碍物区域，输出无人机避障的动作指令。2.根据权利要求1所述的方法，其特征在于，步骤S1中基于所采集的左、右两幅图像匹配计算生成视差图的方法具体为：基于立体匹配GraphCut算法中的SGBM算法，对所述双目摄像头所采及的左、右两幅图像进行校准，通过调整SGBM参数得到视差图。3.根据权利要求2所述的方法，其特征在于，步骤S1中对视差图进行的预处理包括：根据校准后图像与原图像对比，直接去除视差图上两边的灰度信息干扰，得到第一视差图；对第一视差图中灰度值差异大于设定阈值且面积小于设定阈值的白色块进行腐蚀处理，得到第二视差图；对第二视差图进行图像平滑处理得到清晰的视差图。4.根据权利要求1所述的方法，其特征在于，步骤S2所述潜在障碍物区域，其获取步骤包括：步骤S21,获取步骤1输出视差图的轮廓信息；步骤S22，在各轮廓内部对灰度值进行聚类，形成多个对象区域块，每个对象区域块之间具有明显的灰度差异，并且对象区域块具有完整的区域轮廓；步骤S23，分别选取各轮廓内面积大于设定阈值的对象区域块，针对所选取的对象区域块分别绘制最小外接矩形框；步骤S24，计算各对象区域块的灰度值gray(i)、以及灰度值阈值gray0，选择gray(i)>gray0的对象区域块作为潜在障碍物区域。5.根据权利要求4所述的方法，其特征在于，步骤S22中对灰度值进行聚类，具体包括：步骤S221，对步骤S21中获取的轮廓绘制最小外接矩形框，并获取所述矩形框内的各个像素点的灰度信息；步骤S222，在每个矩形框内，去除灰度值小于预设的类内灰度差阈值的背景像素点；步骤S223，并将步骤S222中每个矩形框内所去除的第一个背景像素点分别作为单独的一类，并记录其灰度值；步骤S224，在每个矩形框内，逐个遍历每一个像素点，若其与已有类别的灰度值之差小于类内灰度差阈值则将该像素点归为对应类，否则将该像素点自为一类；步骤S225，重复步骤S223和S224，直到所有的矩形框都聚类完毕。6.根据权利要求5所述的方法，其特征在于，步骤S24具体包括：步骤S241，计算步骤S23中获取的各最小外接矩形框的灰度值作为对应对象区域块的...

【专利技术属性】
技术研发人员：曾毅，赵菲菲，王桂香，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11