基于消费级摄像头的鲁棒实时三维重建方法技术

基于消费级摄像头的鲁棒实时三维重建方法，本发明专利技术涉及基于消费级摄像头的鲁棒实时三维重建方法。本发明专利技术是要解决现有方法计算成本高，重建的模型不精确并且不完整的问题。一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入，估计每一视频帧在场景坐标系下的相机姿态：二、在视频帧中选择最佳的关键帧用于深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转换为截断符号距离场，在体素上并行地执行TSDF的加权平均，增量地融合每一视频帧的深度图，并通过Marching cubes算法构建三角网格表面。本发明专利技术应用于图像处理领域。

【技术实现步骤摘要】

本专利技术涉及基于消费级摄像头的鲁棒实时三维重建方法。
技术介绍
随着手机，数码相机的普及，获取高质量的图像越来越便捷，一个迫切的需求是利用这些图片数据重建我们所生活的三维世界，包括：物体、场景甚至整个环境。已有的基于图像的三维重建方法，所采用的工业相机设备价格昂贵，且计算成本较高，对于一个小场景的重建一般需要一台高性能计算机几个小时的处理时间。然而，传感器噪声，遮挡和光照变化经常导致三维重建任务失败，这些问题仅通过观察图像往往难以预测。由于这些问题，花费几个小时重建的模型往往是不精确的，不完整的，且包含瑕疵。在很多场合，几乎不可能重新返回待重建场景重新捕获图像数据。即便可以对待重建场景反复的拍摄和重建，造成的计算负担和工作量仍然是巨大的。因此，期望有一个重建方法能够在拍摄过程中就实时的反馈重建结果的质量，并帮助用户评估重建质量，规划可提高重建精度和完整度的相机移动轨迹。
技术实现思路
本专利技术是要解决现有方法计算成本高，重建的模型不精确并且不完整的问题，而提供了基于消费级摄像头的鲁棒实时三维重建方法。基于消费级摄像头的鲁棒实时三维重建方法，按以下步骤实现：一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入,估计每一视频帧在场景坐标系下的相机姿态：二、在视频帧中选择最佳的关键帧用于深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转化为截断符号距离场，并在体素上增量的融合，最后输出三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。专利技术效果：本专利技术技术方案提出一个实时、低成本的三维重建方法，可以实时地且高质量地重建并可视化真实场景。如图1所示，提出的方法使用低成本消费级摄像头的视频作为输入，如网络摄像头或是手机摄像头。由于这些消费级摄像头广泛用于日常生活，方法实际上可允许重建相当广泛的场景。三维重建的模型可以直接用于增强现实，3D打印，计算机游戏等应用，如图2。在实验中，使用一枚视频分辨率为640×360的网络摄像头，帧率为30Hz。算法在一台配置为CPUi7，32GRAM，显卡NVIDIATitianblack，6G显存的台式电脑上运行。深度融合中体素的解析度为256×256×256。算法平均运行速度是每秒5帧。研究内容主要包括了视频帧相机姿态的实时估计，基于置信度的鲁棒深度估计算，以及基于GPU的深度融合。虽然基于消费级摄像头的实时三维重建非常有价值，提出的方法需要解决几个挑战问题：首先，相机在每一个视频帧中的姿态是未知的；第二，消费级相机的成像质量比工业级相机要低很多；第三，弱纹理或无纹理区域广泛存在，这些区域的三维重建的质量和可靠性较差，比如人脸重建。本专利技术有效解决上述难题。(1)通过随机策略初始化深度搜索范围，深度估计算法具有尺度可扩展性；(2)提出的深度估计算法对于弱纹理区域比较鲁棒。算法为每一个深度估计一个置信度值，并基于高置信度区域构建一个分段线性模型用于预测弱纹理区域的深度。(3)大多数重建方法使用稀疏采样的关键帧进行重建，提出的专利使用视频的每一帧进行模型的估计，充分的利用了视频图像的冗余信息，能够生成更稠密的重建，以及处理遮挡问题。(4)在深度融合阶段，我们采用了基于GPU和体网格的融合，可以高效的抑制噪声并重建复杂的场景结构。通过对体数据进行可视化，可以实时可视化重建过程。附图说明图1是提出的实时三维重建方法的概述图；图2是提出的重建方法在3D打印上的应用实例图；图3是提出的单目相机三维重建的算法流程图；图4是深度传播示意图；图5是基于置信度的深度调整；图6是截断符号距离场的图示；图7单目实时三维重建方法对静态场景三维重建结果图；其中，第一列和第三列是输入的视频的某一帧，第二列和第四列是可视化的三维重建结果；图8是提出的单目相机三维重建方法对人脸的重建结果以及与LSD-SLAM算法的对比图；其中，第一行，从左到右：输入视频的一帧，基于图像间直接匹配的LSD-SLAM算法估计的深度图，基于随机初始化和成本传播生成的深度图，以及使用置信度调整后的深度图；第二行，从左到右：基于图像间直接匹配的LSD-SLAM的稀疏点云重建结果，不使用基于置信度的深度调整的稠密重建结果，使用所提出的基于置信度的深度调整的稠密重建结果；图9是提出的单目相机三维重建方法对人脸的重建结果以及与LSD-SLAM算法的对比图；其中，第一行，从左到右：输入视频的一帧，基于图像间直接匹配的LSD-SLAM算法估计的深度图，基于随机初始化和成本传播生成的深度图，以及使用置信度调整后的深度图；第二行，从左到右：基于图像间直接匹配的LSD-SLAM的稀疏点云重建结果，不使用基于置信度的深度调整的稠密重建结果，使用所提出的基于置信度的深度调整的稠密重建结果；图10是提出的单目相机三维重建方法对人脸的重建结果以及与LSD-SLAM算法的对比图；第一行，从左到右：输入视频的一帧，基于图像间直接匹配的LSD-SLAM算法估计的深度图，基于随机初始化和成本传播生成的深度图，以及使用置信度调整后的深度图；第二行，从左到右：基于图像间直接匹配的LSD-SLAM的稀疏点云重建结果，不使用基于置信度的深度调整的稠密重建结果，使用所提出的基于置信度的深度调整的稠密重建结果。具体实施方式具体实施方式一：结合图1～图10说明本实施方式，本实施方式的基于消费级摄像头的鲁棒实时三维重建方法，按以下步骤实现：一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入,估计每一视频帧在场景坐标系下的相机姿态：二、在视频帧中选择最佳的关键帧用于深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转化为截断符号距离场，并在体素上增量的融合，最终初始三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一具体为：(a)构建一组关键帧集合在摄像头移动的过程中，依据时间距离和空间距离阈值从视频帧中选取关键帧k，每一个关键帧对应一个估计的相机姿态，所有关键帧构成关键帧集合(b)构建三维图三维图中包含点云数据其中pi为点云数据中的某一三维点，为的基，即中元素的数量，当新的关键帧被加入关键帧集合时，它与关键帧集合中其他关键帧执行立体匹配，产生新的点云数据加入点云中本文档来自技高网...

【技术保护点】
基于消费级摄像头的鲁棒实时三维重建方法，其特征在于按以下步骤实现：一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入,估计每一视频帧在场景坐标系下的相机姿态：二、在视频帧中选择最佳的关键帧用于深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转化为截断符号距离场，并在体素上执行增量的深度融合，最后输出三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。

【技术特征摘要】
1.基于消费级摄像头的鲁棒实时三维重建方法，其特征在于按以下步骤实现：
一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入,估计每一视频帧在场
景坐标系下的相机姿态：
二、在视频帧中选择最佳的关键帧用于深度估计；
三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度
图：
四、将每一视频帧的深度图转化为截断符号距离场，并在体素上执行增量的深度融合，
最后输出三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。
2.根据权利要求1所述的基于消费级摄像头的鲁棒实时三维重建方法，其特征在于所
述步骤一具体为：
(a)构建一组关键帧集合在摄像头移动的过程中，依据时间距离和空间距离阈值从视频帧中选取关键帧k，每
一个关键帧对应一个估计的相机姿态，所有关键帧构成关键帧集合(b)构建三维图三维图中包含点云数据其中pi为点云数据中的某一三维点，
为的基，即中元素的数量，当新的关键帧被加入关键帧集合时，它与关键
帧集合中其他关键帧执行立体匹配，产生新的点云数据加入点云中的每一个
三维点pi记录着它的三维坐标，法线方向，像素特征；当关键帧加入关键帧集合时，它
与关键帧集合中其他关键帧进行匹配，产生点云数据；
(c)三维图和关键帧集合通过全局捆绑调整进行精细优化：
其中ejk为第j个三维点相对于第k个关键帧的重投影误差，Obj为Huber函数，以增加
对噪声和野点的鲁棒性，Sk为在关键帧k上可见的三维图的子集，和分别表示第
2个和第个关键帧的相机姿态估计值；μ为待优化的相机姿态，p为待优化的三维点；
(d)估计每一视频帧在场景坐标系下的相机姿态：
相机姿态为三维空间的刚体变换，假设当前视频帧序号为i,相机姿态包括了3×3的旋
转矩阵Ri和3×1的平移矢量ti,在李群和李代数中，用一个6维的矢量μi等价的表示相机姿

\t态；配准当前视频帧i与三维图即寻找最优的相机姿态参数使得三维图中相对于
视频帧i的可见点集Si的重投影误差最小：
μ^i=argminμΣj∈SiObj(ej)]]>其中，μ为待优化相机姿态，ej代表Si中第j个三维点相对于当前视频帧i的重投影误差，Obj
为Huber函数。
3.根据权利要求1或2所述的基于消费级摄像头的鲁棒实时三维重建方法，其特征在
于所述步骤二具体为：
(一)将关键帧集合中的关键帧按照和当前帧的基线大小的升序排列，并选择前M
帧构成一个子集，从中选择与当前帧夹角最小的关键帧子集假设关键帧集合中的相机
中心坐标依次是c1,c2,c3...cn,当前帧的相机中心坐标为c,当前帧与第m个关键帧的基线的
计算方法是：
Dm=(c-cm)2;]]>(二)根据基线大小，按照升序进行排序，根据距离阈值T从中选择一个关键帧子集
T值定义为相邻关键帧之间距离的平均值的2倍，当前帧与关键帧之间的夹角的计算
如下：
假设当前帧的光学轴为r，某一关键帧的光学轴为rm,则二者的夹角为：
arcos(r·rm|r||rm|)]]>其中·为点积操作，||为矢量范数；
(三)根据当前帧与关键帧子集中的关键帧逐个的计算夹角，从中选择夹角最小的
关键帧Km作为最佳关键帧用于下一步的深度估计。
4.根据权利要求3所述的基于消费级摄像头的鲁棒实时三维重建方法，其特征在于所
述步骤三采用快速鲁棒的深度估计算法估计每一视频帧的深度信息：
(a)随机初始化：对于当前帧It和最佳关键帧目标是估计It上每一像素的深度；
设深度搜索范围为[dmin,dmax]，对于It中的每一个像素位置p＝(x,y)，随机初始化一个深度

\t值dp，基于对光照变化的鲁棒性，使用ZNCC的负值作为度量深度假设的成本，对于当前帧It的像素位置p，选择一个以它为中心的w×w的窗口，对于窗口中的每一个像素位置其
深度值为dp,计算其在的对应的像素位置,并计算匹配成本；其中，所述dmin和dmax分别
为深度搜索范围中的最小深度和最大深度；
(b)深度传播：采用基于扫描线的传播方式，即：
(i)行扫描：逐行从左向右比较相邻像素的成本，如果cost(dx-1,y)<cost(dx,y)，则
dx,y＝dx-1,y，然后逐行从右向左扫描，如果cost(dx+1,y)<cost(d...

【专利技术属性】
技术研发人员：王宽全，李兆歆，左旺孟，张磊，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23