一种基于双目视觉的重建方法技术

本发明专利技术公开了一种基于双目视觉的重建方法，包括：使用相机参数对输入图像的左右视图进行校正，对校正后的左右视图进行立体匹配，得到左右视图的视差图；根据输入图像序列得到的相机姿态估计信息和陀螺仪传入的相机姿态信息，进行卡尔曼滤波得到姿态最优估计，进而得到相机运动轨迹最优估计；根据左右视图的视差图和相机运动轨迹最优估计，得到三维点云数据；利用栅格法对三维点云数据进行点云数据配准，然后利用空间格网对配准后的点云数据进行点云数据融合，得到全景点云数据。本发明专利技术降低了三维重建过程中相机运动姿态估计的误差，提升了三维点云数据的精准性。

【技术实现步骤摘要】
一种基于双目视觉的重建方法
本专利技术属于计算机视觉领域，更具体地，涉及一种基于双目视觉的重建方法。
技术介绍
三维重建技术作为计算机视觉领域的热门研究方向，现已广泛地应用于工业、医疗、机器人导航、无人驾驶等领域。三维重建技术主要分为基于几何结构的重建方法和基于图像的重建方法两种。传统的三维几何结构重建采用计算机辅助设计软件直接手工生成三维模型，该方法建造的场景模型精致、复杂、具有良好的交互性、视点自由但是真实感不强，在进行大规模场景重建时，需要投入大量的时间和精力。基于图像的重建方法从单幅或多幅二维图像的灰度、立体视差等信息中通过三角测量等原理计算获取三维场景信息，将大量人力从场景重建中解脱出来，是目前三维重建主要的研究方向。利用图像序列进行三维重建目前主要倾向于单目立体视觉和双目立体视觉两种。单目立体视觉通过非平面表面的多幅图像对物体表面进行三维重建，该方法受光照影响较大；双目立体视觉与人类视觉感知过程相似，从位置不同的两个视点对同一场景进行观察，进而获得同一场景在不同视点上的两幅图像，通过图像匹配和三角测量原理计算两幅图像成像上的偏差来分析三维环境中物体的位置信息。本专利技术主要基于双目立体视觉系统。实时三维重建方法可以基于程距法和视觉两大类。程距法利用激光雷达获取距离信息，根据已知的深度图，用数值逼近的方法重建表面信息并根据模型建立场景中的物体描述实现三维环境重建。但是这种方法受限于硬件设备，廉价易得的激光测距器测距范围短，大多维持在5-6米的范围内，不适于实际情况，并且发射的一般是单点激光，其重构三维信息的速度会比较慢，导致实时性较差。性能指标高的激光测距器成本高昂且软件技术壁垒高，不具有普适性。基于视觉的实时三维重建利用左右帧图像的视差图进行重建，设备易得且算法较成熟。稠密点云数据可以更精准还原模型结构，但是过多的冗余点会浪费大量存储空间，在进行点云配准与拼接时消耗大量时间与计算量，并且会提升三维表面重建的难度。因此，有必要对稠密点云数据进行约减。Alexa等人通过计算某个数据点删除之后对最小二乘移动曲面的影响程度来决定该数据点是否需要保留的方法进行约减，但是该方法计算比较复杂且效率不高。目前实时环境重建最常用的方法有以下两种：SLAM，该方法是利用移动机器人重建周围环境，并利用环境重建计算自己的位置，但是为了保证计算效率，只能生成稀疏点云，而三维表面重建需要获取稠密的三维点云。Geiger等人提出一种基于图片序列的实时三维重建方法，该方法基于双目立体匹配和老牌视觉里程计算法，但是由于相机姿态估计累积误差的不断增大，大规模环境重建结果漂移严重。由此可见，现有技术存在三维重建过程中相机运动姿态估计的误差较大，三维点云数据的精准性较差的技术问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于双目视觉的重建方法，由此解决现有技术存在三维重建过程中相机运动姿态估计的误差较大，三维点云数据的精准性较差的技术问题。为实现上述目的，本专利技术提供了一种基于双目视觉的重建方法，包括：(1)使用相机参数对输入图像的左右视图进行校正，对校正后的左右视图进行立体匹配，得到左右视图的视差图；(2)根据输入图像序列得到的相机姿态估计信息和陀螺仪传入的相机姿态信息，进行卡尔曼滤波得到姿态最优估计，进而得到相机运动轨迹最优估计；(3)根据左右视图的视差图和相机运动轨迹最优估计，得到三维点云数据；利用栅格法对三维点云数据进行点云数据配准，然后利用格网空间对配准后的点云数据进行点云数据融合，得到全景点云数据。进一步的，相机参数包括单目内参数和双目外参数，所述单目内参数为分别对左右摄像头进行独立的单目标定得到左右摄像头各自的单目内参数，所述双目外参数为双目标定得到的左右摄像机之间的双目外参数。进一步的，步骤(1)包括：(1-1)使用相机参数对输入图像的左右视图进行消除畸变处理并进行行对准，使得左右视图的成像原点一致，得到校正后的左右视图；(1-2)对于校正后的左右视图，通过水平和垂直方向的滤波器的级联响应，得到左右视图的特征向量，利用特征向量之间的曼哈顿距离进行从左到右、从右到左两次匹配，将匹配鲁棒性强的像素点作为支撑点，得到稀疏视差图；(1-3)对左视图坐标空间中的支撑点进行三角剖分，形成多个三角区域，利用三角区域已知顶点的视差构建其它视点的视差的先验概率，基于先验概率对左右视图的特征向量进行匹配得到右视图观察参数，右视图观察参数为疑似同名点及相似性度量，最大后验估计除支撑点外其它像素点的视差，得到稠密视差图为左右视图的视差图。进一步的，步骤(2)的具体实现方式为：陀螺仪固定在左右摄像机中间位置，将陀螺仪坐标系转换到左摄像机坐标系，然后根据输入图像序列得到相机位置信息，并由相机位置信息得到第一速度，根据陀螺仪传入的加速度信息得到第二速度，对第一速度和第二速度进行卡尔曼滤波得到速度最优估计，然后根据输入图像序列得到相机的位移信息，根据速度最优估计得到估计位移信息，对相机的位移信息和估计位移信息进行卡尔曼滤波得到位移最优估计，根据输入图像序列得到的相机姿态估计信息和陀螺仪传入的相机姿态信息进行卡尔曼滤波得到姿态最优估计，根据位移最优估计和姿态最优估计进行卡尔曼滤波得到相机运动轨迹最优估计。进一步的，点云数据配准的具体实现方式为：假设分别获取两组三维点云数据P1和P2，以P1的相机初始位置建立基准坐标系，根据两组三维点云数据对应相机的初始姿态，得到两个坐标系之间的初始旋转平移矩阵，利用初始旋转平移矩阵对P2进行首次刚体变换得到P2′，进而得到初始点云所在格网ID关系，利用初始点云所在格网ID限制匹配范围，对P1和P2′进行点对匹配得到点集对，根据点集对得到新的旋转平移矩阵，利用新的旋转平移矩阵对P2′进行变换得到P2"，获得新的点云所在格网ID关系，计算P2′到P2"的距离平方和，以连续两次距离平方和之差的绝对值或者新的点云所在格网ID关系作为是否收敛的依据，迭代，直到绝对值小于阈值或者新的点云所在格网ID关系不变化，得到目标旋转平移矩阵，利用目标旋转平移矩阵将P2中三维点云数据的坐标系转换到基准坐标系中，实现两组三维点云数据的点云数据配准。进一步的，点云数据融合的具体实现方式为：对三维点云数据的坐标系空间进行等格网划分，得到N个格网空间，遍历格网空间，如果格网空间中没有点云，则不做处理；如果格网空间中只存在单个点云，则以此点云的RGB值作为该格网空间的RGB值；如果格网空间中存在两个及以上的点云，则以该格网空间中所有点云的RGB均值作为该格网空间的RGB值，实现点云数据融合。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术根据输入图像序列得到的相机姿态估计信息和陀螺仪传入的相机姿态信息，进行卡尔曼滤波得到姿态最优估计，进而得到相机运动轨迹最优估计；本专利技术利用陀螺仪传入的相机姿态信息对相机运动姿态估计误差进行矫正，降低了三维重建过程中相机运动姿态估计的误差。(2)本专利技术针对大规模环境重建中点云拼接时遇到的点云数据重叠问题，提出采用栅格法对三维点云数据进行点云数据配准，利用格网空间对点云数据进行融合。进而降低了三维重建过程中相机运动姿态估计的误差，提升了三维点云数据的本文档来自技高网...

【技术保护点】
一种基于双目视觉的重建方法，其特征在于，包括：(1)使用相机参数对输入图像的左右视图进行校正，对校正后的左右视图进行立体匹配，得到左右视图的视差图；(2)根据输入图像序列得到的相机姿态估计信息和陀螺仪传入的相机姿态信息，进行卡尔曼滤波得到姿态最优估计，进而得到相机运动轨迹最优估计；(3)根据左右视图的视差图和相机运动轨迹最优估计，得到三维点云数据；利用栅格法对三维点云数据进行点云数据配准，然后利用格网空间对配准后的点云数据进行点云数据融合，得到全景点云数据。

【技术特征摘要】
1.一种基于双目视觉的重建方法，其特征在于，包括：(1)使用相机参数对输入图像的左右视图进行校正，对校正后的左右视图进行立体匹配，得到左右视图的视差图；(2)根据输入图像序列得到的相机姿态估计信息和陀螺仪传入的相机姿态信息，进行卡尔曼滤波得到姿态最优估计，进而得到相机运动轨迹最优估计；(3)根据左右视图的视差图和相机运动轨迹最优估计，得到三维点云数据；利用栅格法对三维点云数据进行点云数据配准，然后利用格网空间对配准后的点云数据进行点云数据融合，得到全景点云数据。2.如权利要求1所述的一种基于双目视觉的重建方法，其特征在于，所述相机参数包括单目内参数和双目外参数，所述单目内参数为分别对左右摄像头进行独立的单目标定得到左右摄像头各自的单目内参数，所述双目外参数为双目标定得到的左右摄像机之间的双目外参数。3.如权利要求1或2所述的一种基于双目视觉的重建方法，其特征在于，所述步骤(1)包括：(1-1)使用相机参数对输入图像的左右视图进行消除畸变处理并进行行对准，使得左右视图的成像原点一致，得到校正后的左右视图；(1-2)对于校正后的左右视图，通过水平和垂直方向的滤波器的级联响应，得到左右视图的特征向量，利用特征向量之间的曼哈顿距离进行从左到右、从右到左两次匹配，将匹配鲁棒性强的像素点作为支撑点，得到稀疏视差图；(1-3)对左视图坐标空间中的支撑点进行三角剖分，形成多个三角区域，利用三角区域已知顶点的视差构建其它视点的视差的先验概率，基于先验概率对左右视图的特征向量进行匹配得到右视图观察参数，右视图观察参数为疑似同名点及相似性度量，最大后验估计除支撑点外其它像素点的视差，得到稠密视差图为左右视图的视差图。4.如权利要求1或2所述的一种基于双目视觉的重建方法，其特征在于，所述步骤(2)的具体实现方式为：陀螺仪固定在左右摄像机中间位置，将陀螺仪坐标系转换到左摄像机坐标系，然后根据输入图像序列得到相机位置信息，并由相机位置信...

【专利技术属性】
技术研发人员：蔡超，马昱，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42