基于双目视觉与光流融合的无人机避障方法及系统技术方案

本发明专利技术公开了基于双目视觉与光流融合的无人机避障方法及系统，该方法通过机载双目摄像机实时获得图像信息；利用图形处理器GPU获得图像深度信息；利用获得的深度信息提取最具威胁障碍物的几何轮廓信息并通过威胁深度模型计算其威胁距离；通过对障碍物几何轮廓信息的矩形拟合获得障碍物追踪窗口并计算出障碍物所属区域的光流场以获得障碍物相对于无人机的速度；飞控计算机根据计算出的障碍物距离信息、几何轮廓信息和相对速度信息发出规避飞行动作指令以躲避障碍物。本发明专利技术将障碍物的深度信息与光流矢量进行有效融合，实时获得障碍物相对于无人机的运动信息，提高了无人机快速视觉避障的能力，其实时性、准确性相较于传统算法都有较大的提升。

Obstacle avoidance method and system for Unmanned Aerial Vehicle Based on binocular vision and optical flow fusion

The invention discloses a system and method of obstacle avoidance of human binocular vision and optical flow based on fusion, real-time access to image information by means of the method of airborne binocular camera; using GPU graphics processor to obtain the image depth information; using depth information extraction to obtain the most threatening obstacle and geometric contour model to calculate the depth by the threat threat distance; the tracking window and calculate the obstacle of regional optical flow to obtain obstacles relative to the UAV speed through the rectangular fitting of the obstacle geometry information obstacles; flight control computer according to the calculated obstacle distance information, geometric information and relative velocity information issued by the evasive action command to avoid obstacle. In the invention, the depth of the obstacle information and optical flow vector for effective integration, real-time obstacles relative to the motion information of UAV, enhanced the ability of man-machine rapid visual obstacle avoidance, real time and accuracy compared with the traditional algorithm has greatly improved.

【技术实现步骤摘要】
基于双目视觉与光流融合的无人机避障方法及系统
本专利技术涉及无人机避障方法，特别是涉及基于双目视觉与光流融合的无人机避障方法及系统，属于无人机避障

技术介绍
随着无人机技术与其应用市场的发展，无人机往往面临着不同于以往的特殊任务，这些任务对其快速识别、躲避行进航路上障碍物的能力提出了更高的要求。基于视觉的避障系统因为通常采用被动工作方式，拥有设备简单、成本低、经济性好、应用范围广等特点。相比于基于超声波、激光雷达等主动传感器的避障系统，视觉避障系统响应速度更快，精度更高，可以提供如颜色、纹理、几何形状等更加丰富的信息，因此得到了越来越多的关注。双目视觉与单目视觉相比，可以获得与摄像头垂直的距离信息，能更加有效的判断出障碍物与无人机的相对位置，也有助于将障碍物从复杂背景中快速、准确的进行分割；目前双目视觉已经广泛应用在机器人导航、目标跟踪等多个领域。光流法是利用图像序列中像素强度数据的相关性来预测像素点运动的一种方法，即研究图像亮度在时间上的变化以建立目标像素点集合的运动场；一般情况下，光流可以对相机运动、场景中目标运动或两者的共同运动进行有效而精确的测量，其预测量可以表示目标运动的瞬时速度。对光流场的计算方法通常有稀疏光流法和稠密光流法两种。稀疏光流选取一些图像场景中的特征点，通过对这些特征点速度的测量来拟合整个运动场的速度。稠密光流则是计算整个区域的运动场，以此来得到目标区域相对于相机的运动速度；稀疏光流运算速度快，但计算值误差大；稠密光流虽然计算比较精确，但若没有对要测算的目标区域进行精确分割，则会大大增加计算时间，所以常常要配合快速精确的图像分割算法使用。申请号为CN201410565278.3的《基于双目立体视觉与光流融合的车辆运动信息检测方法》，主要通过双目视觉标记出地面上感兴趣点，再计算出感兴趣点的光流值，最后再用最小二乘拟合估计地面车辆的三维平移速度和三维旋转速度。该方法采用特征点的速度信息代替车辆的速度信息，虽然运算速度得到增强，但估计精度难以保证。且该方法只是对车辆自身的运动信息进行估计，无法识别和躲避行进过程中的障碍物，难以在实际领域得到运用。申请号为CN201110412394.8的《一种基于双目立体视觉的巡视探测器自主避障规划方法》，主要通过双目立体视觉计算出相机图像中所有像素点的三维坐标并形成探测点的三维地图，根据三维地图选择出一条避开障碍物的最佳路径。该方法需要计算出视场中全部像素点的三维坐标，对处理器运算性能和存储器的容量都有很高的要求，不适用与小型嵌入式机载设备。申请为CN201510688485.2的《一种基于双目视觉的无人机自主障碍物检测系统及方法》，着重介绍了利用双目摄像机进行障碍物检测的硬件架构，其主要采用FPGA作为处理双目图像的运算核心。FPGA虽然有着体积小，运算速度快等特点，但FPGA价格昂贵且需要使用特殊的开发语言进行程序编写，不利于与其他模块进行对接。且该专利只说明了无人机使用双目视觉进行障碍物检测的硬件架构，对如何检测障碍物的具体算法没有说明。因此，虽然国内外在利用双目视觉进行避障的领域有较多的研究，但大多方法无法快速获得障碍物相对于无人机的位置和速度，难以快速准确地对障碍物进行躲避，故大多难以应用到无人机实时避障领域。
技术实现思路
本专利技术所要解决的技术问题是：提供基于双目视觉与光流融合的无人机避障方法及系统，将障碍物的深度信息与光流矢量进行有效融合，实时获得障碍物相对于无人机的运动信息，实现无人机的实时障碍物躲避。本专利技术为解决上述技术问题采用以下技术方案：基于双目视觉与光流融合的无人机避障方法，包括如下步骤：步骤1，利用双目摄像机获取无人机前进方向上的图像，并对图像做灰度变换；步骤2，计算灰度变换后图像上各像素点的特征信息并进行立体匹配，得到无人机前进方向上的深度图信息；步骤3，将深度图中的深度值分为属于障碍物或属于背景的深度值两类，将深度图分为障碍物区域和背景区域，将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓，并用矩形框对其进行拟合，得到障碍物追踪窗口作为障碍物的几何信息；步骤4，利用稠密光流法计算障碍物追踪窗口滑动的速度矢量，得到该窗口在x,y方向上的速度并根据速度判断下一帧图像障碍物追踪窗口的位置，将判断的位置与下一帧实际计算出的障碍物追踪窗口位置进行比较，若两者之间的差值小于阈值，则进行步骤5，否则，返回步骤1重新计算；步骤5，利用深度威胁模型计算障碍物对于无人机的威胁深度值；步骤6，将步骤3计算出的障碍物几何信息与步骤4计算出的障碍物速度信息从像素坐标转化为世界坐标，并利用无人机的运动参数进行校正；步骤7，将障碍物位置信息与步骤6得到的几何、速度信息发送至无人机的飞控计算机中，飞控计算机根据上述信息控制无人机做出实时规避动作。作为本专利技术方法的一种优选方案，步骤1所述利用双目摄像机获取无人机前进方向上的图像的具体过程为：将双目摄像机安装于无人机的机头部位，通过标定方法获得双目摄像机的内外参数矩阵及畸变参数，利用双目摄像机获取无人机前进方向上的图像，并根据内外参数矩阵及畸变参数对图像进行校正，得到无畸变且行对准的两幅图像。作为本专利技术方法的一种优选方案，所述步骤2的具体过程为：计算灰度变换后图像上各像素点上、下、左、右、左上、左下、右上、右下8个方向的能量函数并进行累加，求视差值使得累加后的能量函数最小化，根据视差值确定各像素点的深度值信息。作为本专利技术方法的一种优选方案，步骤3所述将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓之前，利用speckle滤波器对区分了障碍物区域和背景区域的深度图进行滤波，去除噪声。作为本专利技术方法的一种优选方案，步骤3所述将深度图中的深度值分为属于障碍物或属于背景的深度值两类的具体过程为：设定分割阈值Dh，将深度值大于等于Dh的归类为属于障碍物的深度值，将深度值小于Dh的归类为属于背景的深度值，通过最大化障碍物与背景之间的方差求解Dh，方差计算公式为：其中，ω0、ω1分别为深度值被Dh分割为障碍物、背景深度值的概率，μ0、μ1分别为属于障碍物、背景的深度值的均值：其中，Di为离散的可信深度层，i＝1,…,t，t为深度层的数目，D1,…,Dh为属于障碍物的深度层，Dh+1,…,Dt为属于背景的深度层，Kj为各深度层中深度值的数目，j＝1,…,t。作为本专利技术方法的一种优选方案，所述步骤5的具体过程为：设定属于障碍物的深度值集合为DK＝{d1,d2,…,dK}，d1,d2,…,dK均为深度值，K为属于障碍物的深度值的数目；D1,…,Dt为离散的可信深度层，t为深度层的数目，K1,…,Kt为各深度层中深度值的数目，若存在至少一个1≤j≤t，则障碍物对于无人机的威胁深度值为：其中，Dmin为大于的Kj对应的深度层中最小深度层，Kmin为Dmin中深度值的数目；若所有的K1,…,Kt均小于则障碍物对于无人机的威胁深度值为：基于双目视觉与光流融合的无人机避障系统，包括搭载在无人机上的图像采集模块、图像处理模块、惯性测量模块、GNSS模块，无人机包括飞控计算机；所述图像采集模块获取无人机前进方向上的图像同步传入图像处理模块，图像处理模块包括CPU模块和GPU模块，分别计算障碍物的几何、速度、位置信息，GNSS模本文档来自技高网...

【技术保护点】
基于双目视觉与光流融合的无人机避障方法，其特征在于，包括如下步骤：步骤1，利用双目摄像机获取无人机前进方向上的图像，并对图像做灰度变换；步骤2，计算灰度变换后图像上各像素点的特征信息并进行立体匹配，得到无人机前进方向上的深度图信息；步骤3，将深度图中的深度值分为属于障碍物或属于背景的深度值两类，将深度图分为障碍物区域和背景区域，将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓，并用矩形框对其进行拟合，得到障碍物追踪窗口作为障碍物的几何信息；步骤4，利用稠密光流法计算障碍物追踪窗口滑动的速度矢量，得到该窗口在x,y方向上的速度并根据速度判断下一帧图像障碍物追踪窗口的位置，将判断的位置与下一帧实际计算出的障碍物追踪窗口位置进行比较，若两者之间的差值小于阈值，则进行步骤5，否则，返回步骤1重新计算；步骤5，利用深度威胁模型计算障碍物对于无人机的威胁深度值；步骤6，将步骤3计算出的障碍物几何信息与步骤4计算出的障碍物速度信息从像素坐标转化为世界坐标，并利用无人机的运动参数进行校正；步骤7，将障碍物位置信息与步骤6得到的几何、速度信息发送至无人机的飞控计算机中，飞控计算机根据上述信息控制无人机做出实时规避动作。...

【技术特征摘要】
1.基于双目视觉与光流融合的无人机避障方法，其特征在于，包括如下步骤：步骤1，利用双目摄像机获取无人机前进方向上的图像，并对图像做灰度变换；步骤2，计算灰度变换后图像上各像素点的特征信息并进行立体匹配，得到无人机前进方向上的深度图信息；步骤3，将深度图中的深度值分为属于障碍物或属于背景的深度值两类，将深度图分为障碍物区域和背景区域，将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓，并用矩形框对其进行拟合，得到障碍物追踪窗口作为障碍物的几何信息；步骤4，利用稠密光流法计算障碍物追踪窗口滑动的速度矢量，得到该窗口在x,y方向上的速度并根据速度判断下一帧图像障碍物追踪窗口的位置，将判断的位置与下一帧实际计算出的障碍物追踪窗口位置进行比较，若两者之间的差值小于阈值，则进行步骤5，否则，返回步骤1重新计算；步骤5，利用深度威胁模型计算障碍物对于无人机的威胁深度值；步骤6，将步骤3计算出的障碍物几何信息与步骤4计算出的障碍物速度信息从像素坐标转化为世界坐标，并利用无人机的运动参数进行校正；步骤7，将障碍物位置信息与步骤6得到的几何、速度信息发送至无人机的飞控计算机中，飞控计算机根据上述信息控制无人机做出实时规避动作。2.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，步骤1所述利用双目摄像机获取无人机前进方向上的图像的具体过程为：将双目摄像机安装于无人机的机头部位，通过标定方法获得双目摄像机的内外参数矩阵及畸变参数，利用双目摄像机获取无人机前进方向上的图像，并根据内外参数矩阵及畸变参数对图像进行校正，得到无畸变且行对准的两幅图像。3.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，所述步骤2的具体过程为：计算灰度变换后图像上各像素点上、下、左、右、左上、左下、右上、右下8个方向的能量函数并进行累加，求视差值使得累加后的能量函数最小化，根据视差值确定各像素点的深度值信息。4.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，步骤3所述将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓之前，利用speckle滤波器对区分了障碍物区域和背景区域的深度图进行滤波，去除噪声。5.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，步骤3所述将深度图中的深度值分为属于障碍物或属于背景的深度值两类的具体过程为：设定分割阈值Dh，将深度值大于等于Dh的归类为属于障碍物的深度值，将深度值小于Dh的归类为属...

【专利技术属性】
技术研发人员：张天翼，杨忠，胡国雄，韩家明，张翔，沈杨杨，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32