基于虚拟视点合成绘制三维物体的方法和系统技术方案

本发明专利技术提供一种基于虚拟视点合成绘制三维物体的方法和系统，所述绘制三维物体的方法包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像；S3：预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；S5：将左虚拟彩色图像和右虚拟彩色图像进行融合；S6：将参考图像中的彩色图像和虚拟图像注册到真实环境背景中完成绘制物体虚拟的三维图像。本发明专利技术的技术方案解决了传统建模的复杂性问题。

Method and System of Drawing Three-dimensional Objects Based on Virtual View Composition

【技术实现步骤摘要】
基于虚拟视点合成绘制三维物体的方法和系统
本专利技术涉及虚拟视点重建
，具体而言，尤其涉及一种基于虚拟视点合成绘制三维物体的方法和系统。
技术介绍
混合现实(MixedReality，MR)实际上是虚拟现实(VirtualReality，VR)和增强现实(AugmentedReality，AR)的一种结合。MR是先把真实的东西虚拟化，然后和真实世界叠加到一起，从而产生一个新的可视化环境，虚拟物体与真实世界可以在这种环境中共存，并实时互动。MR要实现真实的渲染，需要获得一个物体或场景的全方位信息，对于某些大型场景实现起来比较困难。虚拟视点重建技术解决了这一问题，通过获取少量的数据，在终端实现各个视点的数据合集。虚拟视点重建技术，就是利用已知视点的图像绘制出虚拟视点的图像，该技术主要分为两种：一种是基于模型的绘制技术(ModelBasedRendering，MBR)，利用计算机图形学，建立出三维场景模型，然后通过计算机着色投影和光照渲染等步骤，生成虚拟视点的图像。但由于三维模型的精度通常较低且注册场景环境光照复杂、不易控制，所以MBR成像不但计算速度慢、人工成本高且真实感并不理想；一种是基于图像的绘制技术(ImageBasedRendering，IBR)，基于已有的真实图像序列生成虚拟视角效果，避免了复杂的几何建模与计算，因此实现过程快速简单，成像效果逼真，但在鲁棒性以及对注册环境的适应性方面还有进一步提升的空间，根据绘制图像时用到的三维几何信息数据的多少，将IBR技术分为三种：不用几何信息的IBR技术、使用隐式几何信息的IBR技术、使用显式几何信息的IBR技术。针对使用隐式几何信息的IBR技术，现在通常使用三维重建技术来重构一个真实的三维物体，该技术需要在计算机中真实地重建出物体表面的三维虚拟模型，所以需要对物体进行复杂的建模处理，三维物体景物模型建立好以后，虽然可以实现任意视点的显示，但是在建模过程中也存在很多的问题。第一个缺点是为了绘制出三维图形景观，需要根据基本图形单元建立景物模型，并对模型进行数学描述，因此三维重建对象受限，在对平面体建模时效果好，但在对复杂实体模型重建时效果差，尤其是一些复杂曲面体。第二个缺点是景物模型建立好以后，为了获得真实场景般逼真的三维模型，还需要计算模型中所有物体的色彩，确定光照条件、纹理粘贴方式，从而得到具有纹理的三维物体，提高模型的真实感。
技术实现思路
根据上述提出传统建模的复杂性问题，而提供一种基于虚拟视点合成绘制三维物体的方法和系统。本专利技术主要利用隐式几何信息的IBR技术——基于深度的图像绘制技术(Depth-Image-BasedRendering，DIBR)，利用双向映射实现虚拟物体的重建，从而实现用少量的图像数据完成整个三维物体的重现。本专利技术采用的技术手段如下：本专利技术提供了一种基于虚拟视点合成绘制三维物体的方法，包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u1,v1)，计算虚拟视点对应二维平面中像素点的坐标(u2,v2)以及三维点相对于虚拟相机的深度值Z2：其中，虚拟相机为放置在虚拟视点位置处的相机；A1为参考相机内部参数矩阵；Z1是三维空间中点相对参考相机的深度值；A2为虚拟相机内部参数矩阵；R和T分别是虚拟相机相对于参考相机的旋转和平移矩阵；S5：根据映射到虚拟视点处的像素点的坐标(u2,v2)可以分别得到左、右两个角度的参考图像中彩色图像对应的左虚拟彩色图像和右虚拟彩色图像，将左虚拟彩色图像和右虚拟彩色图像进行融合；结合表示像素点位置坐标(u2,v2)和对应的像素值Z2，根据如下三种情况计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像：(1)当左虚拟彩色图像和右虚拟彩色图像对应的相同位置的像素点(u2,v2)都不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)等于在两图像在(u2,v2)处的加权像素值，加权值为：其中，t，tL，tR分别是虚拟视点、左参考视点、右参考视点下相机外参数的平移向量；(2)当左虚拟彩色图像和右虚拟彩色图像中仅有一幅图像在坐标(u2,v2)处不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)的值等于非空洞图像对应的像素值；(3)当左虚拟彩色图像和右虚拟彩色图像在(u2,v2)都为空洞，虚拟彩色图像在像素点(u,v)处的像素值融合后图像在I(u,v)处也为空洞；其中，空洞表示像素点的像素值为零；S6：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。进一步地，步骤S1采用张正友标定法对参考相机进行标定，用于消除采集的参考图像的畸变。进一步地，参考相机采用KinectV2深度相机。进一步地，步骤S4具体包括如下两个部分：(1)利用参考图像的深度信息，即物体点距离相机镜头的距离信息，将二维空间中的参考图像中深度图像的每个像素点的坐标(u1,v1)根据公式2投影得到对应到真实空间的世界坐标系的点坐标(X,Y,Z)：其中，A1为参考相机内部参数矩阵；[R1T1]为参考相机外部参数矩阵；Z1是三维空间中三维点相对参考相机的深度值，即参考相机坐标系中Z轴分量；(2)根据公式3将三维空间中三维点重投影到虚拟视点所对应的二维平面上去，得到虚拟视点图像的像素点(u2,v2)及对应深度像素值Z2：其中，A2为虚拟相机内部参数矩阵；[R2T2]为虚拟相机外部参数矩阵。本专利技术还提供了一种基于虚拟视点合成绘制三维物体的系统，采用所述的基于虚拟视点合成绘制三维物体的方法，包括：相机标定和配准模块：利用张正友棋盘格标定法对参考相机进行标定并对参考相机进行配准；参考图像采集模块：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；深度图像预处理模块：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；参考图像双向映射模块：运用图形三维变换技术将参考视点处的每一张参考图像中的彩色图像分别映射到虚拟视点处；得到左、右两个角度的彩色图像对应的左虚拟彩色图像和右虚拟彩色图像；图像融合模块：将左虚拟彩色图像和右虚拟彩色图像进行融合；结合虚拟视点对应二维平面中像素点的坐标(u2,v2)和对应的像素值Z2，计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像；虚拟视点图像绘制和显示模块：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。较现有技术相比，本专利技术具有以下优点：本专利技术提供的基于虚拟视点合成绘制三维物体的方法和系统，基于DIBR技术本文档来自技高网...

【技术保护点】
1.基于虚拟视点合成绘制三维物体的方法，其特征在于，包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u1,v1)，计算虚拟视点对应二维平面中像素点的坐标(u2,v2)以及三维点相对于虚拟相机的深度值Z2：

【技术特征摘要】
1.基于虚拟视点合成绘制三维物体的方法，其特征在于，包括如下步骤：S1：对参考相机进行标定和配准；S2：选择同一场景下包括左、右两个角度的参考视点，使用参考相机分别采集参考视点左、右两个角度的参考图像，包括一张彩色图像和一张与彩色图像相应的深度图像；S3：采用中值滤波器对深度图像进行预处理去除深度图像中的无效点；S4：运用图形三维变换技术将参考视点处的每一张参考图像中彩色图像分别映射到虚拟视点处，具体包括：确定虚拟视点的位置后，利用公式1，根据二维空间中的参考图像中深度图像的每个像素点的坐标(u1,v1)，计算虚拟视点对应二维平面中像素点的坐标(u2,v2)以及三维点相对于虚拟相机的深度值Z2：其中，虚拟相机为放置在虚拟视点位置处的相机；A1为参考相机内部参数矩阵；Z1是三维空间中点相对参考相机的深度值；A2为虚拟相机内部参数矩阵；R和T分别是虚拟相机相对于参考相机的旋转和平移矩阵；S5：根据映射到虚拟视点处的像素点的坐标(u2,v2)可以分别得到左、右两个角度的参考图像中彩色图像对应的左虚拟彩色图像和右虚拟彩色图像，将左虚拟彩色图像和右虚拟彩色图像进行融合；结合表示像素点位置坐标(u2,v2)和对应的像素值Z2，根据如下三种情况计算融合后的彩色图像在像素点(u,v)处的像素值I(u,v)，最终得到虚拟彩色图像：(1)当左虚拟彩色图像和右虚拟彩色图像对应的相同位置的像素点(u2,v2)都不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)等于在两图像在(u2,v2)处的加权像素值，加权值为：其中，t，tL，tR分别是虚拟视点、左参考视点、右参考视点下相机外参数的平移向量；(2)当左虚拟彩色图像和右虚拟彩色图像中仅有一幅图像在坐标(u2,v2)处不为空洞，虚拟彩色图像在像素点(u,v)处的像素值I(u,v)的值等于非空洞图像对应的像素值；(3)当左虚拟彩色图像和右虚拟彩色图像在(u2,v2)都为空洞，虚拟彩色图像在像素点(u,v)处的像素值融合后图像在I(u,v)处也为空洞；其中，空洞表示像素点的像素值为零；S6：使用ARToolkit将物体的参考图像中的彩色图像和S5生成的虚拟彩色图像注册到真实环境背景中完成绘制物体虚拟的三维图像。2...

【专利技术属性】
技术研发人员：陈东岳，宋园园，常兴亚，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21