一种基于双目立体视觉的三维重建系统及其方法技术方案

一种基于双目立体视觉的三维重建系统和方法，包括：双目摄像头，布置于无人飞行器上，用于拍摄双目图像；飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成，本发明专利技术提供的基于双目立体视觉的三维重建系统和方法的有益效果为：解决目前应用于小型无人机上的视觉导航方案中障碍物检测方法存在计算量大实时性差的问题。

Three dimensional reconstruction system based on binocular stereo vision and method thereof

A 3D reconstruction system and method based on binocular stereo vision includes a binocular camera arranged on the unmanned aircraft, for shooting binocular image; flight controller, including a receiver and processor, the receiver via the wireless network directly from the unmanned aircraft receives the binocular camera binocular image, the processor includes edge the acquisition unit for the first set of edge pixels and second edge pixel set, the first edge pixel set of all edge pixels obtained by a stereo image in the image by edge detection, the second edge pixels set all edge pixels obtained from another image by edge detection, the invention provides the beneficial effect of 3D reconstruction system and method based on binocular stereo vision is applied to solve the small: There is a problem of large amount of computation and poor real-time performance in the visual navigation scheme of uav.

【技术实现步骤摘要】

本专利技术涉及一种基于双目立体视觉的三维重建系统，还涉及一种采用该系统构建地图的方法。
技术介绍
无人机导航主要方法包括全球定位系统导航、惯性导航、超声波导航、激光测距导航以及视觉导航等。目前应用最为广泛的无人机自主导航系统是使用全球定位系统(GPS)导航定位和惯性导航系统(IMU)相结合，GPS估计精度受到信号和环境的影响，在遇到建筑物遮挡或者无线电干扰较强的环境时定位精度很低。而IMU位置误差也会随时间累积，需要其他传感器提供位置信息进行修正。因此该种方法更适合高空无人机导航，而对于环境更加复杂，障碍物更多的低空导航该方法无法有效完成避障任务。另一方面，针对消费类别的轻小型无人机对低负载，低功耗的要求，激光测距设备进行导航具有体积重量大的缺点，也不适合作为小型无人机低空避障的导航方法，也有采用超声波测距进行避障的应用，但是该种方法无法精确地得到障碍物所处的方位和角度，因而误差也较大，无法满足对定位精度要求较高的无人机飞行避障的要求。目前基于视觉的障碍物深度检测方案主要有光流法、利用kinect等深度传感器进行环境三维重建、单目相机深度测距以及基于SURF特征点的双目立体视觉进行环境三维重建的障碍物检测方法。光流法是利用角点处提取光流信息并求解延伸焦点来估计障碍物的位置，存在较大的估计误差。而深度传感器受到红外测距范围的限制，不适合应用于室外环境的深度测量。单目相机进行深度测距需要借助飞机上的传感器返回准确的位姿信息或者通过对相邻帧进行单应性计算获得帧间投影矩阵，再进行立体匹配求取视差，从而精确定位障碍物。而传感器返回位姿精度低会导致投影矩阵误差大，最终影响障碍物定位的精度，单目相机测距方法也可以根据相邻帧特征点匹配求取单应性矩阵，但是该方法计算量大，无法满足避障算法的实时性要求。相对于前面几种方法基于SURF特征点的双目立体视觉的障碍物检测方法精度较高，但是由于全画面像素特征匹配的算法复杂度高，也无法满足高速小型无人机低空飞行过程中复杂频繁的障碍物规避要求。
技术实现思路
本专利技术所要解决的技术问题在于克服上述现有技术之不足，提供一种基于双目立体视觉的三维重建系统及其方法。按照本专利技术提供的一种基于双目立体视觉的三维重建系统采用的主要技术方案为：包括：双目摄像头，布置于无人飞行器上，用于拍摄双目图像；飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S：S=Σi=05×5|p(i)left-p(i)right|Σi=05×5L(p(i)left)+L(p(i)right)]]>式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成；视图重建单元，用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。本专利技术提供的基于双目立体视觉的三维重建系统还可具有如下附属技术特征：匹配确定单元在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。该系统还包括：新障碍信息获取单元，用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测，以得到新障碍物检测信息；障碍物分布确定单元，用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。该系统还包括：图像预处理单元，用于对双目摄像头拍摄得到的双目图像进行预处理，并将预处理后的双目图像传送至所述边缘获取单元，其中，所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元；进一步地，所述畸变校正子单元包括校正矩阵获取模块和校正模块，所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵，所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。该系统包括多组双目摄像头，所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。按照本专利技术提供的一种基于双目立体视觉的三维重建方法采用的主要技术方案为：该方法包括：双目摄像头，布置于无人飞行器上，用于拍摄双目图像；飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S：S=Σi=05×5|p(i)left-p(i)right|Σi=05×5L(p(i)left)+L(p(i)right)]]>式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成；视图重建单元，用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。本专利技术提供的基于双目立体视觉的三维重建方法还可具有如下附属技术特征：每一所述边缘像素块的每一维的长度在3～8之间。在得到边缘像素集合前，先对双目摄像头拍摄得到的双目图像进行预处理，所述预处理进一步包括对图像进行畸变校正和平行校正；进一步地，所述畸变校正包括：采用张正友标定法得到双目摄像头的标定参数；基于所述标定参数得到畸变校正投影矩阵；将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。采用本专利技术提供的基于双目立体视觉的三维重建系统及其方法带来的有益效果为：解决目前应用于小型无人机上的视觉导航方案中障碍物检测方法存在计算量大实时性差的问题。本专利技术提供了一种基于双目立体视觉系统的深度递进障碍物检测和障碍物本文档来自技高网...

【技术保护点】
一种基于双目立体视觉的三维重建系统，其特征在于，包括：双目摄像头，布置于无人飞行器上，用于拍摄双目图像；飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S：S=Σi=05×5|p(i)left-p(i)right|Σi=05×5L(p(i)left)+L(p(i)right)]]>式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成；视图重建单元，用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。...

【技术特征摘要】
1.一种基于双目立体视觉的三维重建系统，其特征在于，包括：双目摄像头，布置于无人飞行器上，用于拍摄双目图像；飞行控制器，包括接收机和处理器，所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像，所述处理器包括边缘获取单元，用于得到第一边缘像素集合和第二边缘像素集合，所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成，所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成；相似评价单元，用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S：S=Σi=05×5|p(i)left-p(i)right|Σi=05×5L(p(i)left)+L(p(i)right)]]>式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配；匹配确定单元，用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块，所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成；视图重建单元，用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。2.根据权利要求1所述的基于双目立体视觉的三维重建系统，其特征在于：匹配确定单元在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。3.根据权利要求1所述的基于双目立体视觉的三维重建系统，其特征在于，该系统还包括：新障碍信...

【专利技术属性】
技术研发人员：曹琳，刘恩晓，刘寿生，李恒，高皜，
申请(专利权)人：山东省科学院海洋仪器仪表研究所，
类型：发明
国别省市：山东;37