基于视觉里程计的单目红外视频三维重建方法技术

本发明专利技术提供了一种基于视觉里程计的单目红外视频三维重建方法，首先进行红外热像仪标定；然后构建直接法和稀疏法视觉里程计模型；再进行帧管理，从待处理的连续红外图像序列中产生关键帧，并边缘化关键帧；对关键帧上的像素进行点管理；最后对关键帧进行滑动窗口优化，最小化直接法和稀疏法视觉里程计模型的光度误差，借助高斯‑牛顿法迭代求解出红外热像仪位姿、内参、空间点的逆深度，最终得到场景的三维点云。本发明专利技术将直接法应用于最小化光度误差，跳过传统的特征点检测与匹配，通过对像素的灰度值的直接操作，直接计算待优化的光度误差所依赖的所有变量，从而实现夜视场景的三维重建，保证了三维重建的实时性，增强了场景的空间感。

【技术实现步骤摘要】
基于视觉里程计的单目红外视频三维重建方法
本专利技术涉及一种基于直接法和稀疏法视觉里程计的单目红外视频三维重建方法，通过本方法可对红外视频中的场景进行三维结构重建，使图像具有空间感，显著增强夜视图像的场景感知性。
技术介绍
三维重建是在二维图像信息中获得图像的信息，并通过对这些信息进行处理得到图像的三维信息，它是计算机视觉的重要组成部分。恢复彩色图像中的三维结构现在已有比较理想的算法，但对于红外图像来说，因其反映的是场景的温度分布，有着低信噪比、低对比度、缺乏纹理等缺陷，恢复该图像的三维重建算法较少。若能恢复红外图像的三维结构，那么将极大地提高人眼对该图像的理解效果。目前，针对单目彩色图像进行三维重建的主要方法有纹理法、轮廓法、运动法、同时定位与建图(simultaneouslocalizationandmapping)以及基于机器学习的方法。通过分析图像中物体表面重复纹理单元的大小、形状，恢复出物体法向、深度等信息，得到物体的三维几何模型，即纹理法。轮廓法则是通过多个角度物体的轮廓图像得到物体的三维模型。运动法即基于运动的建模(structurefrommotion)，是通过在多幅未标定图像中检测匹配特征点集，使用数值方法恢复摄像机参数与三维信息的一种方法。同时定位与建图是机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征定位自身位置和姿态，再根据自身位置增量式的构建地图，从而达到同时定位和地图构建的目的。基于机器学习的方法就是利用配准的深度图和彩色图作为训练集训练网络，再将测试集输入到训练好的网络中得到场景的深度。而目前针对单目红外图像进行三维重建只有基于机器学习的方法，并且训练集的获取增加了硬件成本。
技术实现思路
本专利技术要解决的技术问题是如何对夜视红外视频的场景进行三维重建，使图像具有空间感，增强夜视图像的场景感知性。为了解决上述技术问题，本专利技术的技术方案是提供一种基于视觉里程计的单目红外视频三维重建方法，其特征在于，包括如下步骤：步骤1：红外热像仪标定；制作针对红外热像仪标定的棋盘标定板，然后将红外热像仪固定，采集多张不同位姿的红外棋盘标定板图像，利用matlab的摄像机标定工具箱计算出红外热像仪的内参矩阵；步骤2：构建直接法和稀疏法视觉里程计模型；通过所述模型刻画红外热像仪的小孔成像模型、红外热像仪位姿、红外热像仪内参、空间点的逆深度以及待优化的光度误差；步骤3：帧管理；从待处理的连续红外图像序列中产生关键帧，并边缘化关键帧；步骤4：对关键帧上的像素进行点管理；点管理的目标是在优化时始终保持固定数量的激活点，在三维空间和激活帧中均匀分布；步骤5：窗口优化；对步骤3所产生的关键帧进行滑动窗口优化，最小化步骤2中构建的直接法和稀疏法视觉里程计模型的光度误差，借助高斯-牛顿法迭代求解出红外热像仪位姿、红外热像仪内参、空间点的逆深度，最终得到场景的三维点云。优选地，所述步骤1中，针对红外热像仪标定的棋盘标定板由装满温水的导热热水箱、硬纸板、能够隔热1000度高温的石棉隔热板依次连接组成。优选地，所述步骤2中，构建直接法和稀疏法视觉里程计模型时，考虑到热像仪和普通彩色摄像头成像原理的不同，在实际运行时不考虑镜头的光度标定模型。优选地，所述步骤3中，总是保留最多Nf个关键帧，Nf为正整数，新来的每帧图像，只和最新的关键帧比较，追踪红外热像仪位姿，之后新来的这帧图像被用于产生一个新的关键帧或者被丢弃；如果被用于产生新的关键帧，在所有的关键帧进行总光度误差优化之后，该关键帧在满足设定条件将被边缘化。更优选地，所述步骤3具体如下：步骤3.1：新帧跟踪；当新的关键帧被创建时，所有激活的地图点投影到该帧上，从而创建半稠密地图；当新帧产生时，仅相对最近关键帧进行图像直接配准，从而完成跟追踪；步骤3.2：创建关键帧；以下三种情况会创建新的关键帧：一、在视角变化时，会创建新的关键帧；二、在相机平移导致遮挡或遮挡去除时，会创建新的关键帧；三、在曝光时间显著变化时，会创建新的关键帧；步骤3.3：边缘化关键帧；假设I1...In是已被激活的关键帧集合，其中I1是最新的关键帧，In是最旧的关键帧；边缘化策略是：一、总是保留最新的两个关键帧I1和I2；二、若某关键帧的少于5％的点在关键帧I1中被观测到，则边缘化该关键帧；三、如果激活的关键帧多于设定的最大个数Nf，则边缘化距离分数最大的关键帧，不包括I1和I2优选地，所述步骤4中，点管理包括以下三步：候选点选择、候选点追踪、候选点激活。更优选地，所述候选点选择的策略是：一、在图像中良好分布；二、相对其周围的环境具有较高的图像梯度。更优选地，所述候选点追踪的策略是：在后续帧中沿着候选点的极线进行离散化搜索，追踪候选点，从而最小化光度误差。更优选地，所述候选点激活的策略是：在一组旧点被边缘化之后，需要激活候选点以替换它们；候选点激活的目标是保持地图点在整个图像中均匀分布；首先将所有激活点投影到最近的关键帧上，然后激活与现有的地图点距离最大的候选点。本专利技术将直接法应用于最小化光度误差，跳过传统的特征点检测与匹配，通过对像素的灰度值的直接操作，直接计算待优化的光度误差所依赖的所有变量，从而实现夜视场景的三维重建，保证了三维重建的实时性，增强了场景的空间感，可用于无人车、机器人领域。附图说明图1为基于直接法和稀疏法视觉里程计的单目红外视频三维重建方法流程图；图2为构建直接法和稀疏法视觉里程计所使用的模式示意图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。如图1所示，基于直接法和稀疏法视觉里程计的单目红外视频三维重建方法，首先需要对红外热像仪标定，得到红外热像仪的的内参矩阵。然后构建直接法和稀疏法视觉里程计模型，再从待处理的连续红外图像序列中进行帧管理，选择符合要求的关键帧以及边缘化关键帧。接着对关键帧上的像素进行点管理，之后再对关键帧进行滑动窗口优化，借助高斯-牛顿迭代求解出待优化的所有变量，最终得到场景的三维点云。具体方法如下：步骤1：红外热像仪标定。首先制作针对红外热像仪的棋盘标定板，红外棋盘标定板由三部分组成，从后往前依次是热水箱、硬纸板、石棉隔热板。通过附加热源和隔热板的方案，在红外热像仪上获取到黑白相间的棋盘，然后将20张具有不同位姿的红外棋盘标定板图像输入到matlab标定工具箱中进行热像仪内参标定。红外热像仪成像原理不同于普通彩色摄像头，为了获得高对比度的黑白相间的棋盘格红外图像，采用附加热源及隔热板的方案，附加热源选用装满温水的导热热水箱，水温大约在35度左右，隔热板选用可以隔热1000度高温的石棉板，石棉板的大小为30mm×30mm，石棉板的个数为41个，然后用matlab脚本在硬纸板上打印针对普通彩色摄像头的棋盘标定板，再将石棉板依次准确地固定在硬纸板上，之后再将硬纸板固定在装有温水的热水箱上。将热像仪固定，平移和旋转标定板，录制一个红外视频，然后对红外视频抽帧选取20张具有不同位姿且对比度较高的标定板图像，将其输入到matlab标定工具箱中本文档来自技高网...

【技术保护点】
一种基于视觉里程计的单目红外视频三维重建方法，其特征在于，包括如下步骤：步骤1：红外热像仪标定；制作针对红外热像仪标定的棋盘标定板，然后将红外热像仪固定，采集多张不同位姿的红外棋盘标定板图像，利用matlab的摄像机标定工具箱计算出红外热像仪的内参矩阵；步骤2：构建直接法和稀疏法视觉里程计模型；通过所述模型刻画红外热像仪的小孔成像模型、红外热像仪位姿、红外热像仪内参、空间点的逆深度以及待优化的光度误差；步骤3：帧管理；从待处理的连续红外图像序列中产生关键帧，并边缘化关键帧；步骤4：对关键帧上的像素进行点管理；点管理的目标是在优化时始终保持固定数量的激活点，在三维空间和激活帧中均匀分布；步骤5：窗口优化；对步骤3所产生的关键帧进行滑动窗口优化，最小化步骤2中构建的直接法和稀疏法视觉里程计模型的光度误差，借助高斯‑牛顿法迭代求解出红外热像仪位姿、红外热像仪内参、空间点的逆深度，最终得到场景的三维点云。

【技术特征摘要】
1.一种基于视觉里程计的单目红外视频三维重建方法，其特征在于，包括如下步骤：步骤1：红外热像仪标定；制作针对红外热像仪标定的棋盘标定板，然后将红外热像仪固定，采集多张不同位姿的红外棋盘标定板图像，利用matlab的摄像机标定工具箱计算出红外热像仪的内参矩阵；步骤2：构建直接法和稀疏法视觉里程计模型；通过所述模型刻画红外热像仪的小孔成像模型、红外热像仪位姿、红外热像仪内参、空间点的逆深度以及待优化的光度误差；步骤3：帧管理；从待处理的连续红外图像序列中产生关键帧，并边缘化关键帧；步骤4：对关键帧上的像素进行点管理；点管理的目标是在优化时始终保持固定数量的激活点，在三维空间和激活帧中均匀分布；步骤5：窗口优化；对步骤3所产生的关键帧进行滑动窗口优化，最小化步骤2中构建的直接法和稀疏法视觉里程计模型的光度误差，借助高斯-牛顿法迭代求解出红外热像仪位姿、红外热像仪内参、空间点的逆深度，最终得到场景的三维点云。2.如权利要求1所述的一种基于视觉里程计的单目红外视频三维重建方法，其特征在于：所述步骤1中，针对红外热像仪标定的棋盘标定板由装满温水的导热热水箱、硬纸板、能够隔热1000度高温的石棉隔热板依次连接组成。3.如权利要求1所述的一种基于视觉里程计的单目红外视频三维重建方法，其特征在于：所述步骤2中，构建直接法和稀疏法视觉里程计模型时，考虑到热像仪和普通彩色摄像头成像原理的不同，在实际运行时不考虑镜头的光度标定模型。4.如权利要求1所述的一种基于视觉里程计的单目红外视频三维重建方法，其特征在于：所述步骤3中，总是保留最多Nf个关键帧，Nf为正整数，新来的每帧图像，只和最新的关键帧比较，追踪红外热像仪位姿，之后新来的这帧图像被用于产生一个新的关键帧或者被丢弃；如果被用于产生新的关键帧，在所有的关键帧进行总光度误差优化之后，该关键帧在满足设定条件...

【专利技术属性】
技术研发人员：陈博洋，孙韶媛，叶国林，姚广顺，高凯珺，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31