一种基于GPU及面向深度图像的实时三维重构方法技术

本发明专利技术公开了一种基于GPU及面向深度图像的实时三维重构方法，方法的计算在GPU上进行，包括数据预处理阶段、数据配准阶段、数据融合阶段和三维模型提取阶段；其中，数据预处理阶段包括数据截断、数据滤波和数据分层；数据配准阶段设置为用于求解深度图像数据在全局坐标下的位姿；数据融合阶段设置为用于将深度图像数据融合到改进的三维截断有向距离场模型中；三维模型提取阶段设置为从改进的三维截断有向距离场模型中提取出三维网格模型。有效地利用GPU多线程并行处理的特点，在GPU上实现实时三维重构，在保证高精度的前提下实现实时三维模型重构。

【技术实现步骤摘要】

本专利技术涉及计算机图形学领域，尤其涉及一种基于GPU及面向深度图像的实时三维重构方法。
技术介绍
实时三维重构技术用于实时获取现实空间中物体的三维模型，三维重构技术广泛用于在涉及计算机技术的多个方向，包括计算机动画、计算机辅助设计、机器人、虚拟现实、增强现实、3D打印等。经过多年的发展，三维重构技术取得了很大进步，但是三维重构仍然有一些问题没有解决，比如在重建速度、重建范围、重建精度方面。一个有效的实时三维重构方法最主要的困难在于在保持重建精度的情况下达到实时处理的效果，同时重建范围还要足够大。在三维重构的过程中涉及到大量运算，比如在数据配准阶段以前无法做到实时处理。深度相机未出现之前，三维图像生成大多是使用多幅图通过计算对应特征点的方式合成，三维图像的生成需要大量运算，而且精度也不够精确。随着硬件技术的发展，深度相机随之出现，深度相机可以获取较高精度的深度图像数据，而且获取速率也非常快，非常适合用于三维重构技术。虽然深度相机的出现可以获取到较高精度的深度数据，实时三维技术还是存在很多问题，如实时三维重构技术涉及到大量运算，在CPU上是无法达到实时处理的要求，但随着GPU技术的发展，三维技术中涉及到的大量运算开始在GPU上进行操作，才使实时三维重构技术看到了一丝曙光，但还是存在问题，比如由于三维重构要处理大量数据，对显存的要求非常大，所以在处理非常大的场景是还是存在问题。因此，本领域的技术人员致力于开发一种基于GPU及面向深度图像的实时三维重构方法，不仅能够达到实时处理的需要，还可以重建较大的场景。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是开发一种基于GPU及面向深度图像的实时三维重构方法，不仅能够达到实时处理的需要，还可以重建较大的场景，保证精度的前提下，实现实时三维重构。为实现上述目的，本专利技术提供了一种基于GPU及面向深度图像的实时三维重构方法，方法的计算在GPU上进行，包括数据预处理阶段、数据配准阶段、数据融合阶段和三维模型提取阶段；其中，数据预处理阶段包括数据截断、数据滤波和数据分层；数据配准阶段设置为用于求解深度图像数据在全局坐标下的位姿；数据融合阶段设置为用于将深度图像数据融合到改进的三维截断有向距离场模型中；三维模型提取阶段设置为从改进的三维截断有向距离场模型中提取出三维网格模型。进一步地，数据截断设置为将不在最大范围值和最小范围值的范围内的深度图像数据中的像素点设置为0；数据滤波设置为过滤深度图像数据中的噪点；数据分层设置为将深度图像数据分为三层，其中每层是上层数据量的四分之一。进一步地，数据配准阶段使用高斯牛顿方法解误差方程，得到迭代公式，求取位姿。进一步地，数据滤波设置为采用双边滤波过滤深度图像数据中的噪点。进一步地，数据融合阶段采用改进的三维截断有向距离场存储三维模型数据。进一步地，改进的三维截断有向距离场将有向距离场均匀分成N个部分，当深度图像数据的范围超过改进的三维截断有向距离场模型时，更新存储模型。进一步地，更新储存模型是将最久没有使用过的部分中的三维数据提取出来，用于储存新的三维数据。进一步地，数据融合阶段使用数据配准阶段求到的位姿转换到局部坐标下，使用小孔成像原理转换到成像平面所在的平面中，并且计算临时距离值，当临时距离值在设定的范围内时，更新体素的距离值。进一步地，三维模型提取阶段将体素转换为三维点，获得三维点之后使用移动立方体方法网格化。进一步地，GPU使用多线程并行计算。技术效果有效地利用GPU多线程并行处理的特点，在GPU上实现实时三维重构，在保证高精度的前提下实现实时三维模型重构。有效利用GPU显存，可以用于构建大场景的三维模型。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的一个较佳实施例的一种基于GPU及面向深度图像的实时三维重构方法的流程示意图；图2是本专利技术的一个较佳实施例的一种基于GPU及面向深度图像的实时三维重构方法的深度图像数据格式示意图；图3是本专利技术的一个较佳实施例的一种基于GPU及面向深度图像的实时三维重构方法的改进的三维截断有向距离场模型格式示意图；图4是本专利技术的一个较佳实施例的一种基于GPU及面向深度图像的实时三维重构方法的改进的三维截断有向距离场模型中的计算距离值的方式示意图；图5是本专利技术的一个较佳实施例的一种基于GPU及面向深度图像的实时三维重构方法的改进的三维截断有向距离场模型变换示意图。具体实施方式如图所示，本专利技术的一较佳实施例提供一种基于GPU及面向深度图像的实时三维重构方法，所有计算都在GPU上进行。区别于串行计算，GPU可以并发处理大量计算，即进行多线程并行处理。为了使GPU的计算性能发挥到最大，需要考虑：1、合理分配线程以保证处理速度达到最大，GPU中的线程数量虽然很多，但是也要采用合理的分配方式才可以达到合理利用的目的；2、合理分配显存以及寄存器达到高效处理，GPU中的显存有限，有效存储数据更加关键，至于GPU中的高速寄存器，数量更是小，使用时要更加注意；3、合理分配线程的处理任务，由于GPU中的每个线程的处理速度没有CPU中的快，且对分支非常敏感，只有同一线程组内的线程执行的分支越少，性能就越高。本专利技术的一较佳实施例提供的一种基于GPU及面向深度图像的实时三维重构方法在保证精度的前提下，实现实时三维重构。本专利技术的一较佳实施例中，以深度图像X和改进的三维截断有向距离场模型S为例，对一种基于GPU及面向深度图像的实时三维重构方法进行详细说明，在本实施例中，输入流为一帧深度图像数据X以及改进的三维截断有向距离场S，本专利技术的计算在GPU进行，面向深度图像的实时三维重构分为数据预处理阶段、数据配准阶段、数据融合阶段和三维模型提取阶段四个阶段。其中数据预处理包括数据截断、数据滤波和数据分层。获取一帧深度图像之后，首先将深度图像数据上传至显存。数据截断操作将不在最大最小范围值范围内的深度图像数据中的像素点设置为0，执行下一步骤；数据滤波操作采用双边滤波过滤掉深度图像数据中的噪点，执行下一步骤；数据分层操作将深度图像数据分成三层，其中每层是上层的数据量的四分之一，执行下一步骤。具体步骤为：首先获取一帧深度图像数据X，深度数据格式如图2所示，其中每个方格代表一个深度点，深度数据的大小是640*480个像素点，也就是X有640*480个数据点，标记xi表示X中第i个像素点，并且深度图像可以按照小孔成像原理转换成三维点云数据。将深度图像数据上传至GPU进行数据截断处理，在该阶段首先设置最大值cut_far和最小值cut_near，将深度图像数据中不在cut_far与cut_near之间的深度图像像素点的值设置为0，此步骤中在GPU上处理，并且为每个深度数据像素分配一个线程进行处理，对于X，则要分配640*480个线程，处理结束之后进行下一步数据滤波操作；在数据滤波操作过程中采用双边滤波算法，同样在GPU上进行处理，并为每个深度数据像素分配一个线程，处理结束之后进行下一步数据分层操作。在数据分层操作步骤中，标记深度图像数据为第一层深度数据，首先在GPU上申请两张二维数据表，分别标记为第二层深度数据与第三层深度数据，大小分别是第一层本文档来自技高网...

【技术保护点】
一种基于GPU及面向深度图像的实时三维重构方法，其特征在于，所述方法的计算在GPU上进行，包括数据预处理阶段、数据配准阶段、数据融合阶段和三维模型提取阶段；其中，所述数据预处理阶段包括数据截断、数据滤波和数据分层；所述数据配准阶段设置为用于求解深度图像数据在全局坐标下的位姿；所述数据融合阶段设置为用于将所述深度图像数据融合到改进的三维截断有向距离场模型中；所述三维模型提取阶段设置为从所述改进的三维截断有向距离场模型中提取出三维网格模型。

【技术特征摘要】
1.一种基于GPU及面向深度图像的实时三维重构方法，其特征在于，所述方法的计算在GPU上进行，包括数据预处理阶段、数据配准阶段、数据融合阶段和三维模型提取阶段；其中，所述数据预处理阶段包括数据截断、数据滤波和数据分层；所述数据配准阶段设置为用于求解深度图像数据在全局坐标下的位姿；所述数据融合阶段设置为用于将所述深度图像数据融合到改进的三维截断有向距离场模型中；所述三维模型提取阶段设置为从所述改进的三维截断有向距离场模型中提取出三维网格模型。2.如权利要求1所述的一种基于GPU及面向深度图像的实时三维重构方法，其特征在于，所述数据截断设置为将不在最大范围值和最小范围值的范围内的深度图像数据中的像素点设置为0；所述数据滤波设置为过滤所述深度图像数据中的噪点；所述数据分层设置为将所述深度图像数据分为三层，其中每层是上层数据量的四分之一。3.如权利要求1所述的一种基于GPU及面向深度图像的实时三维重构方法，其特征在于，所述数据配准阶段使用高斯牛顿方法解误差方程，得到迭代公式，求取位姿。4.如权利要求2所述的一种基于GPU及面向深度图像的实时三维重构方法，其特征在于，所述数据滤波设置为采用双边滤波过滤所述深度图像数据中的噪点。5.如权利要求1所...

【专利技术属性】
技术研发人员：张新宇，周响南，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31