一种面向RGBD三维重建的纹理生成方法技术

本发明专利技术涉及一种面向RGBD三维重建纹理生成方法，运用时空联合采样的方法，考虑时序和空序的因素，从RGBD数据流中提取低模糊度和高独特度的RGB数据和深度数据作为关键帧，保证图像质量，降低数据冗余的同时，也保证模型能够尽可能地被关键帧覆盖。利用模型数据和关键帧的相机位姿，将不同视角的图像投影到同一视角下，建立误差能量函数，交替地优化图像，生成不同视角下相互对齐的图像数据，作为优化后的关键帧数据。将模型参数化到二维平面，再将不同视角下的数据融合到该平面上，生成最终的纹理图像。该方法充分考虑了纹理生成过程中，由于相机姿态偏移以及建模几何误差所产生的问题，对生成清晰、无缝的高质量纹理图像以及逼真的三维模型具有重要意义。

A Texture Generation Method for RGBD 3D Reconstruction

The present invention relates to a texture generation method for RGBD three-dimensional reconstruction. By using the method of spatiotemporal joint sampling and considering the factors of time sequence and space sequence, low ambiguity and high uniqueness RGB data and depth data are extracted from RGBD data stream as key frames to ensure image quality, reduce data redundancy and ensure that the model can be covered by key frames as much as possible. Using model data and camera pose of key frames, images from different perspectives are projected to the same perspective. Error energy function is established to alternately optimize the image and generate image data that are aligned with each other from different perspectives as optimized key frame data. The model is parameterized to a two-dimensional plane, and then the data from different perspectives are fused to the plane to generate the final texture image. This method fully considers the problems caused by camera attitude offset and geometric errors in the process of texture generation. It is of great significance to generate clear and seamless high-quality texture images and realistic three-dimensional models.

【技术实现步骤摘要】
一种面向RGBD三维重建的纹理生成方法
本专利技术属于计算机视觉与计算机图形图像处理领域，具体地说，是一种利用扫描获得的三维网格模型和关键帧的RGBD数据自动的生成单幅清晰、无缝的纹理图集的方法。该方法为三维模型生成清晰的纹理图像，对模型的逼真渲染和三维内容创作具有重要意义。
技术介绍
近年来随着VR/AR应用潜力的不断发掘，带来了对三维内容大规模生产的需求。基于RGBD数据流进行场景的三维重建技术使得模型可以具有较高的几何精度。然而逼真的三维模型还需要有高质量的纹理展现单凭几何模型无法表现的细节。三维模型结合纹理图集的渲染方法可以在使用较少计算资源的情况下通过纹理展现细节。在三维重建的过程中，纹理图集的连续性和清晰与否，对最终三维模型的表现效果都有着至关重要的作用。当前对基于RGBD数据流的三维重建的研究大部分集中在如何通过RGBD数据流产生高精度的几何模型，其后的纹理生成工作步骤通常如下：首先，在生成几何模型的过程中，按照一定规则截取若干关键帧，关键帧内容包括当时的RGB数据和深度数据以及在建模过程中利用相关方法估计出的相机姿态；第二步，对于几何模型上的每一个网格三角面片，按照某本文档来自技高网...

【技术保护点】
1.一种面向RGBD三维重建纹理生成方法，其特征在于，包括以下步骤：S1.根据用来重建模型的RGBD数据流中每一帧的时间标记，结合每一帧RGB数据的独特性度量，对数据流进行时空采样，得到关键帧序列；S2.根据第一步采样的关键帧序列，将不同位置的关键帧投影到同一相机位置构造能量函数，通过分组交替迭代求解的方式，求解该能量函数，生成相互对齐的关键帧序列；S3.根据第二步中生成的对齐关键帧序列，按照不同关键帧的相机姿态，将模型表面的三角面片划分成不同区域，把这些区域参数化到二维平面，并赋予投影到关键帧上对应区域的数据，然后按照区域尺寸进行排列，最终得到模型的纹理图集。

【技术特征摘要】
1.一种面向RGBD三维重建纹理生成方法，其特征在于，包括以下步骤：S1.根据用来重建模型的RGBD数据流中每一帧的时间标记，结合每一帧RGB数据的独特性度量，对数据流进行时空采样，得到关键帧序列；S2.根据第一步采样的关键帧序列，将不同位置的关键帧投影到同一相机位置构造能量函数，通过分组交替迭代求解的方式，求解该能量函数，生成相互对齐的关键帧序列；S3.根据第二步中生成的对齐关键帧序列，按照不同关键帧的相机姿态，将模型表面的三角面片划分成不同区域，把这些区域参数化到二维平面，并赋予投影到关键帧上对应区域的数据，然后按照区域尺寸进行排列，最终得到模型的纹理图集。2.根据权利要求1所述的面向RGBD三维重建纹理生成方法，其特征在于：所述步骤S1为：S11.首先，对RGBD数据流进行时间采样，得到经过时间采样的关键帧，具体过程如下：对已配准的RGBD数据流，首先利用利用深度数据对RGB数据进行一次阈值滤波，将前背景分离，并对RGBD数据流中的RGB数据计算所有RGB数据的模糊程度度量D，在帧数设定的阈值δmax中选择D值最小的，存储相应的RGBD数据和相机姿态作为关键帧；同时，在选择一帧之后，接下来数量为δmin的帧不做任何处理，从δmin+1帧开始，再从接下来的δmax帧中选择D值最小的作为关键帧，直到所有RGBD数据处理完毕，得到时间采样关键帧集合K0。每个关键帧Ki∈K0中，包含了RGB数据Ci，深度数据Di和相机姿态Ti；S12.对时间采样得到的关键帧进行空间采样，在保证关键帧覆盖范围的情况下，减少关键帧的数量，具体过程如下：对每一帧时间采样的关键帧的深度数据Ki∈K0，通过如下公式计算所述关键帧的独特性度量：其中，Q(I)表示该关键帧的独特性度量值，为0到1之间的实数，I’表示集合K0中的一幅图像，dI′(p′)表示点p投影到图像I′上对应的深度图像的值，zI′(p′)是点p对应的三维点转换到图像I’的三维空间中的z值，|I|表示图像I中的像素数量；将所有关键帧添加到一个优先队列中，优先队列按照每个关键帧的独特性度量评定优先级；所有关键帧计算完毕之后，删除队列中独特性度量值最低的值，同时重新计算所有能够观察到被删除关键帧像素的关键帧的独特性度量，直到队列中最小的独特性度度量大于阈值σ，此时队列中的关键帧即为最终经过时空采样的关键帧序列K′。3.根据权利要求1所述的面向RGBD三维重建纹理生成方法，其特征在于：所述步骤S2的具体实现为：S21.构建图像金字塔；将S1中所有经过时空采样得到的关键帧RGB图像关键帧复制为三组，{Si}，{Ti}，{Mi}，其中集合{Si}称为源图像、集合{Ti}为目标图像、集合{Mi}为纹理图像分别进行降采样，建立v层尺度由小到大的图像金字塔，按照尺度由小到大，对每一层图像进行如下迭代；S22.利用原图像Si∈{Si}，{...

【专利技术属性】
技术研发人员：齐越，王晨，衡亦舒，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11