基于双目视觉的无人机低空避障系统及控制方法技术方案

本发明专利技术提供了一种基于双目视觉的无人机低空避障系统及控制方法，包括双目测距模块、无人机姿态识别模块、飞行控制模块以及传输模块。双目摄像头获取无人机前方的图像，利用视差图获取障碍物的深度值；根据无人机俯仰角和深度值获取障碍物的真实垂直距离，判断是否大于阈值；若大于阈值，说明所测的障碍物不影响飞行；若小于或等于阈值，说明障碍物影响继续飞行；根据无人机俯仰角度和深度值获取障碍物离无人机的真实水平距离，依据水平的距离选择相应的避障模式。本发明专利技术实现了快速判断无人机是否需要避障，减少了无人机倾斜对双目测距的影响，使得无人机避障更准确。

Obstacle Avoidance System and Control Method of UAV at Low Altitude Based on Binocular Vision

The invention provides a low-altitude obstacle avoidance system and control method of UAV based on binocular vision, including binocular ranging module, UAV attitude recognition module, flight control module and transmission module. Binocular camera obtains the image in front of UAV and obtains the depth of obstacle by disparity map; obtains the true vertical distance of obstacle according to the pitch angle and depth value of UAV and judges whether it is larger than the threshold; if it is larger than the threshold, it shows that the obstacle measured does not affect flight; if it is less than or equal to the threshold, it shows that the obstacle affects the flight; and according to the pitch angle and depth value of UAV, it determines whether the obstacle is larger than the threshold. The real horizontal distance between obstacle and UAV is obtained by depth value, and the corresponding obstacle avoidance mode is selected according to the horizontal distance. The invention realizes fast judging whether UAV needs obstacle avoidance, reduces the influence of UAV tilt on binocular ranging, and makes UAV obstacle avoidance more accurate.

【技术实现步骤摘要】
基于双目视觉的无人机低空避障系统及控制方法
本专利技术涉及无人机避障
，尤其涉及一种基于双目视觉的无人机低空避障系统及控制方法。
技术介绍
随着科技的进步，无人机的运用越来越广泛，但手柄式的无人机一旦到复杂的环境或者视角盲区更或者是突发情况时很有可能发生危险，所以无人机避障系统应运而生，如超声波避障、双目避障、雷达避障、激光避障等各式各样的避障系统。无人机避障系统非常重要，它很大程度上决定了无人机的实用性。现有的超声波避障系统，测距短，测距的精度与物体的材质有关。雷达避障，使用费用高；而双目避障，测距远，范围广，精度较高。这种避障系统能够大大提升无人机的安全性以及可靠性，使得无人机能够适用于更多的地方。当无人机倾斜的时候双目测出的并不是地面或障碍物之间实际距离，它导致的结果就是无人机避障不精确，无人机不能按照我们预期的形态进行避障，无人机发生碰撞的可能性大大提升，使得双目避障系统的实用性以及可靠性大大降低。在无人机双目避障领域，有许多的避障方法。例如，公开号为CN107703951A的中国专利申请公布了一种基于双目视觉的无人机避障方法及系统，其在低空飞行时判断地面不需避障，其方法利用等分视角读取深度值，每个深度值的比值和阈值的比较，判断是否为地面，该方法的主要缺陷是，当读取的深度值在障碍物和地面接触的附近时，可能会误判为地面，且所述的阈值没有准确的计算。现有技术中，目前遇到的问题：使用视场角等分方法避障时需要检测的精度、效率、阈值。即每几度分割视场角，所选角度过大时检测的精度大大下降，所选的角度过小时检测的效率大大降低，未给出所选的阈值的计算方法。专利
技术实现思路
本专利技术专利所解决的技术问题是无人机低空下遇到障碍物时判断是否需要避障，以及忽略无人机自身倾斜的问题，提出一种基于双目视觉的无人机低空避障系统及控制方法，克服无人机自身倾斜带来的误差，解决了无人机在低空复杂环境下的避障问题。本专利技术专利解决其技术问题所采用的技术方案是：基于双目视觉的无人机低空避障系统包括无人机姿态识别模块，双目摄像头模块以及飞行控制模块。所述双目摄像头模块包括一个双目摄像头、树莓派，用于实现双目避障。其中双目摄像头垂直设于无人机前方，双目摄像头的两个摄像头上下设置且互相平行；树莓派为双目摄像头的处理系统，通过usb连接双目摄像头，用于处理视差图的深度值，判断是否进行避障，通过IO口连接飞控，控制无人机的飞行姿态；所述姿态识别模块包括加速度计，陀螺仪，磁力计，气压计，用于获得无人机自身的姿态角和高度。所述飞行控制模块主要为嵌入式单片机和地面站，控制无人机的飞行姿态。基于双目视觉的无人机低空避障控制方法包括以下步骤：步骤1.通过双目摄像机获取无人机前方的环境图像；所述环境图像为双目摄像机的两个摄像头同一时刻分别所拍摄的第一图像和第二图像；步骤2.根据获取的环境图像识别无人机前方是否有目标对象；步骤3.若存在目标对象，则基于无人机当前姿态信息以及根据图像获取的目标对象深度值，判断前方目标物是否低于飞行高度，做出相应避障；无人机姿态信息为设于无人机的姿态传感器所获取的无人机俯仰角，姿态传感器为三轴陀螺仪和三轴加速度计；目标对象深度值通过双目视差图获取；所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；将矫正后的第一图像和第二图像使用SGBM算法进行立体匹配，得到两个图像的视差图；基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值。步骤4.若目标对象中存在障碍物则基于目标深度值获取无人机与障碍物间的距离选择避障；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。进一步的，基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体方法为：步骤3中的无人机俯仰角在(-30°，30°)内，其中无人机机体坐标系所在平面为基准线，基准线以下角度为负，视场角在(-35°，35°)内；进一步的，所述步骤4中根据所获取的目标对象深度值判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：(1)垂直方向上视场角等分，对应的角度为θ1、θ2、θ3、....θn，视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ，其中0°<θn<70°，35°为相机广角的一半，γ为飞机姿态识别模块识别的俯仰角；从上到下计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算S1＝h2-h1、S2＝h3-h2、S3＝h4-h3、....Sn＝hn-hn-1、若Sn>阈值Ω、则表示垂直距离突变；(2)若从开始计算起连续n次hn<＝阈值Ω，则判定前方有障碍物，无人机根据水平距离选择避障；若从开始计算所有hn>阈值Ω，则判定前方无障碍物，无人机继续向前飞行；(3)安装在无人机上的双目摄像头的垂直方向上的视角为(-35°,35°)，在其视角范围内每5度识别个深度值x1、x2、x3、....xn，每个深度值所对应的角度为θ1、θ2、θ3、....θn,各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ；(4)设定的阈值为30cm。由上到下依次计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算S2＝h2-h1、S3＝h3-h2、S4＝h4-h3、....Sn＝hn-hn-1、若Sn>35cm则表示垂直距离突变，具体解决方案如下：①当Sn>35cm则计算出障碍物与无人机的距离Ln＝xn*sinβn，由上述角度求出hn-1的对应角an-1＝θn-1+γ-35°，再求出对应的hc＝Ln*tan(an-1)；若hc<＝30cm,则作为第一个有效的障碍物点。②由上到下依次计算障碍物与无人机的水平距离L1＝x1*sinβ1、L2＝x2*sinβ2、L3＝x3*sinβ3、....Ln＝xn*sinβn；③若从开始计算起连续n次hn<＝30cm，则判定前方有障碍物，依次计算出障碍物与无人机的水平距离，无人机根据水平距离选择避障；④若从开始计算所有hn>30cm,则判定前方无障碍物，无人机继续向前飞行；障碍物与无人机的距离Ln＝xn*sinβn，将n次测得的水平距离求平均，减少测得的误差；阈值Ω的具体计算方式如下所述：设无人机能测的最远距离Lmax、本文档来自技高网...

【技术保护点】
1.基于双目视觉的无人机低空避障系统及控制方法，其特征在于，包括以下步骤：步骤1.通过双目摄像机获取无人机前方的环境图像；所述环境图像为双目摄像机的两个摄像头同一时刻分别所拍摄的第一图像和第二图像；步骤2.根据获取的环境图像识别无人机前方是否有目标对象；步骤3.若存在目标对象，则基于无人机当前姿态信息以及根据图像获取的目标对象深度值，判断前方目标物是否低于飞行高度，做出相应避障；无人机姿态信息为设于无人机的姿态传感器所获取的无人机俯仰角，姿态传感器为三轴陀螺仪和三轴加速度计；目标对象深度值通过双目视差图获取；所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；将矫正后的第一图像和第二图像使用SGBM算法进行立体匹配，得到两个图像的视差图；基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值；步骤4.若目标对象中存在障碍物则基于目标深度值获取无人机与障碍物间的距离选择避障；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。...

【技术特征摘要】
1.基于双目视觉的无人机低空避障系统及控制方法，其特征在于，包括以下步骤：步骤1.通过双目摄像机获取无人机前方的环境图像；所述环境图像为双目摄像机的两个摄像头同一时刻分别所拍摄的第一图像和第二图像；步骤2.根据获取的环境图像识别无人机前方是否有目标对象；步骤3.若存在目标对象，则基于无人机当前姿态信息以及根据图像获取的目标对象深度值，判断前方目标物是否低于飞行高度，做出相应避障；无人机姿态信息为设于无人机的姿态传感器所获取的无人机俯仰角，姿态传感器为三轴陀螺仪和三轴加速度计；目标对象深度值通过双目视差图获取；所述双目摄像机获取无人机前方的环境图像包括第一图像和第二图像；所述双目摄像机的两个摄像头通过张氏标定法，获取摄像头的内外参数，再通过摄像头的外部参数和畸变系数对第一图像和第二图像进行矫正；将矫正后的第一图像和第二图像使用SGBM算法进行立体匹配，得到两个图像的视差图；基于所述视差图获取深度图像，根据所述深度图像提取目标对象深度值；步骤4.若目标对象中存在障碍物则基于目标深度值获取无人机与障碍物间的距离选择避障；如果前方识别出目标对象，则基于目标对象深度值计算出无人机与目标对象的垂直距离和无人机的水平距离，并根据无人机与目标对象的水平和垂直距离选择是否进行避障；如果前方所识别的目标对象的垂直距离低于或等于阈值，则无人机选择避障；如果前方所识别的目标对象的垂直距离高于阈值，则无人机不采取避障措施，仍然保持当前飞行方向继续飞行。2.根据权利要求1所述的基于双目视觉的无人机低空避障系统及控制方法，其特征在于，基于无人机当前的姿态信息以及根据环境图像所获取的目标对象深度值，判断前方目标对象是否会影响无人机继续飞行，具体步骤如下：(1)垂直方向上视场角等分，对应的角度为θ1、θ2、θ3、....θn，视场角范围内由上到下识别出目标对象所对应的深度值x1、x2、x3、....xn，各对应角度所对应到基准线的角度为α1、α2、α3、....αn，αn＝35°-θn；对应的计算角β1、β2、β3、....βn，βn＝90°+αn-γ，其中0°<θ<70°，35°为相机广角的一半，γ为飞机姿态识别模块识别的俯仰角；上到下计算h1＝x1*|cosβ1|、h2＝x2*|cosβ2|、h3＝x3*|cosβ3|...hn＝xn*|cosβn|，分别计算S1＝h2-h1、S2＝h3-h2、S3＝h4-h3、....Sn＝hn-hn-1、若Sn>阈值Ω、则表示垂直距离突变(阈值＝水平...

【专利技术属性】
技术研发人员：俞吕东，邬玲伟，梅盼，黄振轩，许建华，方敏杰，戴兆甫，
申请(专利权)人：台州学院，
类型：发明
国别省市：浙江,33