一种基于图像梯度联合优化的双目视觉里程计算方法技术

本发明专利技术公开了一种基于图像梯度联合优化的双目视觉里程计算方法。对输入双目视频进行预处理，计算双目视频帧的视差图获得度量距离；缩放形成多尺度的图像组成金字塔模型，计算特征获得一系列特征图像；根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程，卡尔曼滤波器内搭建有相机的运动模型；使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态；用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。本发明专利技术提出了结合两种梯度展开的优化算法，创新地利用图像梯度作为特征有效地避免了户外光照变化的影响，并且参考多个关键帧对相机姿态进行优化,得到了一个性能较好并可同时进行稠密三维重建的实时双目视觉里程计算方法。

【技术实现步骤摘要】
一种基于图像梯度联合优化的双目视觉里程计算方法
本专利技术涉及计算机视觉领域以及图像处理的相关技术，尤其涉及了一种基于图像梯度联合优化的双目视觉里程计算方法。
技术介绍
经过近些年的探索和发展，计算机视觉已经在机器人、自动驾驶、数字娱乐、医疗健康、安防监控、军事技术等很多领域具有应用场景。视觉里程计不仅是机器人与无人车视觉导航系统的重要组成部分，也是计算机视觉和机器人领域的重要研究分支，本专利技术致力于提出一种快速有效的双目视觉里程计方法。视觉里程计是目标定位、姿态估计、地图绘制、场景理解等课题的研究基础和前提，一个优秀的视觉里程计算方法能为以上诸多研究课题提供强有力的支持和保障。视觉里程计算方法的主要任务是从输入视频中实时估计出相机当前相对于起始参照状态的相对6自由度姿态，包括X-Y-Z三个坐标轴的相对位移，以及三个围绕坐标轴的旋转。同时，用于估计相机姿态的副产品为场景的稀疏或稠密重建。基于稀疏特征点匹配的方法需要三角化不同视频帧的匹配点得到三维稀疏重建，而基于直接图像对准的方法则利用双目视觉获得稠密的三维重建结果，为场景重建建立了基础。因此，视觉里程计算方法不仅提供了全局的姿态和位置信息，并且完成了初步的地图绘制与场景重建，是机器人以及无人车自主导航系统的第一步，有着至关重要的作用。视觉里程计是机器人和计算机视觉领域中的重要课题，是增强现实、自动驾驶汽车、机器人导航等应用的核心技术。目前主流的视觉里程计以及同时定位和地图重建算法通常采用了基于系数特征点匹配的解决方案，不能够完全利用整幅图像的信息，而且只能对场景进行稀疏重建。另一方面，基于直接图像对准的方案则使用整幅图像的信息，而且可以生成场景的密集点云，是具有广阔前景的技术方向。然而直接法的主要缺陷是相机小运动假设以及趋于收敛到局部最优，使该类方法在KITTI视觉里程计测试中性能弱于基于特征点匹配的策略。在目前的视觉导航KITTI评测平台中，基于稠密观测的直接视觉导航方法未能取得理想的结果，其主要原因可以归结为下述几点：1)基于Lucas-Kanade框架[3]的图像对准理论收敛域有限，无法应对数据集中10Hz采样的大位移场景，需要非常好运动估计方法进行补偿；2)KITTI数据集源于实际的驾驶场景，涵盖包括城市、乡村和高速公路等不同的驾驶环境，直接使用像素灰度值与仿射光照模型无法应对如路面反光、树阴和建筑阴影等复杂环境光照环境影响；3)不完美的相机标定以及立体视觉匹配算法准确度直接影响视觉导航结果的精度，目前的立体视觉匹配均评估覆盖度内的视差估计精度，而视觉导航需要精确的点对点视差估计，位于立体视觉评测排行前列的算法未能有效提升导航精度。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术提出了一种基于图像梯度联合优化的双目视觉里程计算方法，实现了从视频序列中估计相机姿态和位置。本专利技术采用的技术方案是包括如下步骤：1)对输入双目视频进行预处理；2)计算双目视频帧的视差图，获得度量距离；3)将预处理后的图像进行缩放形成多个尺度的图像，组成金字塔模型，并对金字塔模型中的各个尺度图像计算特征，获得一系列特征图像；4)根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程，卡尔曼滤波器内搭建有相机的运动模型；相机姿态包括相机的位置和朝向。5)对图像金字塔模型中的各个尺度图像由粗尺度到精尺度的顺序使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态，并将粗尺度的输出作为精细尺度的输入；粗尺度是指被缩放变小的图像，精尺度是指原输入图像。6)用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。所述步骤6)是用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型中的模型参数。所述步骤1)的预处理是进行高斯滤波和图像增强操作。所述的图像增强具体是直方图均衡化增加对比度的处理。所述步骤2)所述的视差图计算方法为线搜索匹配法，所述的度量距离为像素差的绝对值之和。所述步骤3)中，所述的特征为图像梯度及其二阶梯度，用于所述步骤5)中计算图像匹配误差。所述步骤4)使用卡尔曼滤波器预测获得当前帧视频图像中的相机姿态的运动过程，并用于所述步骤5)中来进一步计算准确的相机姿态。所述步骤5)是按照由粗到精的顺序对相机姿态进行估计，通过双梯度优化方法解决稠密视觉导航的大位移难题，通过直接使用图像梯度作为图像特征获得了对光照变化的鲁棒性，同时也避免了增加仿射光照模型对系统引起的额外计算代价，将多帧信息引入优化提升了系统性能并减少漂移。所述步骤5)双目视觉导航算法具体为：5.1)构建用于计算当前帧变换Tc的以下联合直接双目视觉里程优化方程：其中，ρ()为Tukey’s损失函数，π-1表示为从图像空间转换到世界坐标系下的函数，π表示为从世界坐标系转换到图像空间的函数，Tc表示当前帧变换，Tp表示上一帧变换，Tk表示参考帧变换，Ωk表示参考图像像素点的集合，Ωp表示上一帧图像像素点的集合，xi为第i个像素点的图像坐标位置，di为第i个像素点的深度估计值，θ为所求当前帧变换Tc的参数，▽为梯度计算符，Ip为上一帧图像，Ik为参考帧图像，Ic为当前帧图像；所述参考帧是指当前帧之前的第m帧，在本专利技术实施中m＝12，在前12帧时，参考帧为第一帧，例如，对于初始时刻的第一帧，第一帧姿态置零，朝向和位置均置为零；对于第二到m帧，均以第一帧作为参考帧，对于第i帧，以第i-m帧作为参考帧。所述的Tukey’s损失函数ρ()采用以下公式计算如下：其中，κ为Tukey’s损失函数参数，在专利技术实例中为4.6851，t表示Tukey’s损失函数的输入；5.2)上述方程是一个非线性优化问题，采用以下公式的高斯-牛顿方法对联合直接双目视觉里程优化方程进行迭代优化来计算当前帧变换Tc，再用当前帧变换Tc对当前帧图像对应的姿态进行变换，获得当前帧准确的相机姿态。由此依次对每一帧按时间顺序进行处理，可以获得每一帧准确的相机姿态。所述第i个像素点的深度估计值di是通过双目视觉深度估计算方法(StereoDepthEstimation)估计计算获得。所述步骤5.2)具体为：5.2.1)采用以下公式计算获得所求当前帧变换Tc的参数θ：θ＝-(JTWJ)-1JTWr.其中，J是Jacobian矩阵，JT表示Jacobian矩阵的转置，r代表残差，W为对角矩阵，对角矩阵W中每个对角线位置上为Tukey’s损失函数ρ的导数，5.2.2)根据李代数定义采用以下公式计算获得临时变换T(θ)：其中，ν为位移，[ω]×为反对称矩阵(Skew-symmetricmatrix)，[ω]×＝ω1G1+ω2G2+ω3G3，ω1、ω2、ω3分别表示三轴坐标下的三个旋转角度，G1，G2，G3为反对称矩阵的基，分别形式如下：上述中，李代数定义是指是数学上的代数结构，主要用于研究象李群和微分流形之类的几何对象。5.2.3)根据李代数定义，根据临时变换T(θ)采用以下公式计算变换，并赋值到当前帧变换Tc：Tc←TcT(θ)其中，T(θ)表示临时变换；5.2.4)再以当前帧变换Tc重新构建对应的Jacobian矩阵，以重复上述步骤以金字塔模型进行迭代计算，以卡尔曼滤波器的预测输出作为初始第一层的输入，以上一层的输出作为下一层的输入，直到满足迭代计算的停本文档来自技高网...

【技术保护点】
一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于包括如下步骤：1)对输入双目视频进行预处理；2)计算双目视频帧的视差图，获得度量距离；3)将预处理后的图像进行缩放形成多个尺度的图像，组成金字塔模型，并对金字塔模型中的各个尺度图像计算特征，获得一系列特征图像；4)根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程，卡尔曼滤波器内搭建有相机的运动模型；5)对图像金字塔模型中的各个尺度图像使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态；6)用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。

【技术特征摘要】
1.一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于包括如下步骤：1)对输入双目视频进行预处理；2)计算双目视频帧的视差图，获得度量距离；3)将预处理后的图像进行缩放形成多个尺度的图像，组成金字塔模型，并对金字塔模型中的各个尺度图像计算特征，获得一系列特征图像；4)根据度量距离用卡尔曼滤波器对图像进行处理预测估计相机姿态的运动过程，卡尔曼滤波器内搭建有相机的运动模型；5)对图像金字塔模型中的各个尺度图像使用基于梯度的双目视觉导航算法计算当前帧准确的相机姿态；6)用当前帧的相机姿态更新卡尔曼滤波器内的相机运动模型。2.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述步骤1)的预处理是进行高斯滤波和图像增强操作。3.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述步骤2)所述的视差图计算方法为线搜索匹配法，所述的度量距离为像素差的绝对值之和。4.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述步骤3)中，所述的特征为图像梯度及其二阶梯度。5.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述步骤4)使用卡尔曼滤波器预测获得当前帧视频图像中的相机姿态的运动过程。6.根据权利要求1所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述步骤5)双目视觉导航算法具体为：5.1)构建用于计算当前帧变换Tc的以下联合直接双目视觉里程优化方程：其中，ρ()为Tukey’s损失函数，π-1表示为从图像空间转换到世界坐标系下的函数，π表示为从世界坐标系转换到图像空间的函数，Tc表示当前帧变换，Tp表示上一帧变换，Tk表示参考帧变换，Ωk表示参考图像像素点的集合，Ωp表示上一帧图像像素点的集合，xi为第i个像素点的图像坐标位置，di为第i个像素点的深度估计值，θ为所求当前帧变换Tc的参数，▽为梯度计算符，Ip为上一帧图像，Ik为参考帧图像，Ic为当前帧图像；所述的Tukey’s损失函数ρ()采用以下公式计算如下：其中，κ为Tukey’s损失函数参数，t表示Tukey’s损失函数的输入；5.2)采用以下公式的高斯-牛顿方法对联合直接双目视觉里程优化方程进行迭代优化来计算当前帧变换Tc，再用当前帧变换Tc对当前帧图像对应的姿态进行变换，获得当前帧准确的相机姿态。7.根据权利要求6所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述第i个像素点的深度估计值di是通过双目视觉深度估计算方法(StereoDepthEstimation)估计计算获得。8.根据权利要求6所述的一种基于图像梯度联合优化的双目视觉里程计算方法，其特征在于：所述步骤5.2)具体为：5.2.1)采用以下公式计算获得所求当前帧变换Tc的参数θ：θ＝-(JTWJ)-1JTWr.其中，J是Jac...

【专利技术属性】
技术研发人员：朱建科，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33