一种用于3D对象建模的设备和方法技术

提供一种用于3D对象建模的设备和方法，所述设备和方法能够融合深度图像和多视角彩色图像，从而基于预定义的3D对象模板自动进行3D对象建模。所述设备包括：图像接收单元，用于接收拍摄的彩色图像和深度图像，其中，彩色图像包括正向彩色图像和至少两幅其它视角的侧向彩色图像，深度图像为正向深度图像；3D模板提供单元，用于提供针对特定种类的对象而预定义的3D对象模板，其中，所述3D对象模板具有形状特征和纹理特征；对象建模单元，用于基于由图像接收单元接收的彩色图像和深度图像对由3D模板提供单元提供的3D对象模板进行变形处理，并对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。

【技术实现步骤摘要】

本专利技术涉及三维(3D)对象建模技术，具体说来，涉及一种能够基于预定义的3D对象模板自动进行3D对象建模的有效设备和方法。
技术介绍
在三维(3D)计算机图形领域中，3D对象建模是指产生任意三维对象的算术表示的处理，该处理产生的结果称为3D对象模型。3D对象建模在数字娱乐等领域具有广泛的应用，例如，在虚拟现实、增强现实、3D 电影、3D游戏、人机交互等技术中均需要进行3D对象建模。目前的多数3D对象建模还需要通过相关专业人员进行手动操作来实现，这种方式不仅耗费时间，而且需要大量的人为参与。另一方面，在关于自动3D对象建模的现有技术中，如果输入图像的数量有限，则无法针对3D建模的对象给出足够的形状约束。例如，在第10927241号美国专利“Method and apparatus for image-based photorealistic 3D face modeling" Φ,X^tT-ImMrP 几乎无法提供形状方面的约束，而基本上由形状模板来确定。另外，单纯的二维图像/视频数据无法针对不受控照明环境或纹理较少的对象区域给出良好的形状信息。为了解决这一问题，很多现有技术利用统计模型来提高建模质量。 然而，统计模型的获取需要花费大量的时间和成本，并且针对每种不同的对象类型均需要提供相应的统计模型，因此，统计模型由于缺少便利性而在应用上受到限制。在利用深度图像进行3D对象建模的情况下，由于深度图像自身比较稀疏，所以需要对深度图像的数据进行超分辨率处理以提高建模质量。然而，现有的超分辨率处理(例如，第 11444947 号美国专利“Method and system to increase X-Y resolution in a depth camera using RGB”)均仅采用局部内插处理，这往往导致生成的形状不够圆滑且与实际的对象存在误差。在自动3D对象建模技术中，经常会针对基于图像/视频/深度图像进行的建模应用非线性优化处理。然而，所述非线性优化处理却有其自身的缺陷，即，不具有较好的鲁棒性且需要非常好的初始值才能够实现较好的性能。此外，优化处理通常需要进行迭代运算， 所以速度非常缓慢。因此，需要提供一种能够基于预定义的3D对象模板自动进行3D对象建模的有效设备和方法。
技术实现思路
本专利技术的目的在于提供一种能够基于预定义的3D对象模板自动进行3D对象建模的有效设备和方法，根据所述3D对象建模设备和方法，能够基于多视角图像和深度图像对预定义的模板进行变形，并生成相应的纹理，从而有效地进行3D对象建模。根据本专利技术的一方面，提供一种用于3D对象建模的设备，所述设备包括图像接收单元，用于接收拍摄的彩色图像和深度图像，其中，彩色图像包括正向彩色图像和至少两幅其它视角的侧向彩色图像，深度图像为正向深度图像；3D模板提供单元，用于提供针对特定种类的对象而预定义的3D对象模板，其中，所述3D对象模板具有形状特征和纹理特征；对象建模单元，用于基于由图像接收单元接收的彩色图像和深度图像对由3D模板提供单元提供的3D对象模板进行变形处理，并对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。所述对象建模单元可包括特征提取模块，用于从彩色图像提取用于确定对象形状的特征信息；前景分离模块，用于通过产生前景掩膜图像从正向彩色图像和正向深度图像分离出感兴趣的前景图像；超分辨率处理模块，用于执行超分辨率处理以产生对应于正向彩色图像的密集深度图；变形处理模块，用于基于由特征提取模块提取的特征信息以及由超分辨率处理模块产生的密集深度图对由3D模板提供单元提供的3D对象模板进行变形处理；纹理生成模块，用于对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成 3D对象模型。前景分离模块对正向深度图像进行前景分割以得到前景掩膜，然后，利用已知的标定参数，将与前景掩膜相应的深度像素投影到正向彩色图像平面，以在正向彩色图像上形成稀疏的2D点集合，对所述稀疏的2D点之间的间隙进行填充，以在正向彩色图像上形成相应的前景图像。前景分离模块利用抠像技术对得到的前景图像的边界进行细化。超分辨率处理模块将深度图像中的像素投影到正向彩色图像平面，以获取正向彩色图像像素中具有深度值的种子点，基于获取的种子点和正向彩色图像来执行局部插值运算，从而产生对应于正向彩色图像的密集深度图，对所述密集深度图进行量化，并对量化的密集深度图执行全局优化，以提高其平滑性。在超分辨率处理模块执行局部插值运算时，其利用下列等式来确定正向彩色图像中的待插值像素的深度值权利要求1.一种用于3D对象建模的设备，所述设备包括图像接收单元，用于接收拍摄的彩色图像和深度图像，其中，彩色图像包括正向彩色图像和至少两幅其它视角的侧向彩色图像，深度图像为正向深度图像；3D模板提供单元，用于提供针对特定种类的对象而预定义的3D对象模板，其中，所述 3D对象模板具有形状特征和纹理特征；对象建模单元，用于基于由图像接收单元接收的彩色图像和深度图像对由3D模板提供单元提供的3D对象模板进行变形处理，并对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D对象模型。2.如权利要求1所述的设备，其中，所述对象建模单元包括特征提取模块，用于从彩色图像提取用于确定对象形状的特征信息；前景分离模块，用于通过产生前景掩膜图像从正向彩色图像和正向深度图像分离出感兴趣的前景图像；超分辨率处理模块，用于执行超分辨率处理以产生对应于正向彩色图像的密集深度图；变形处理模块，用于基于由特征提取模块提取的特征信息以及由超分辨率处理模块产生的密集深度图对由3D模板提供单元提供的3D对象模板进行变形处理；纹理生成模块，用于对彩色图像和变形处理后的3D对象模板进行纹理合成，以生成3D 对象模型。3.如权利要求2所述的设备，其中，前景分离模块对正向深度图像进行前景分割以得到前景掩膜，然后，利用已知的标定参数，将与前景掩膜相应的深度像素投影到正向彩色图像平面，以在正向彩色图像上形成稀疏的2D点集合，对所述稀疏的2D点之间的间隙进行填充，以在正向彩色图像上形成相应的前景图像。4.如权利要求3所述的设备，其中，超分辨率处理模块将深度图像中的像素投影到正向彩色图像平面，以获取正向彩色图像像素中具有深度值的种子点，基于获取的种子点和正向彩色图像来执行局部插值运算，从而产生对应于正向彩色图像的密集深度图，对所述密集深度图进行量化，并对量化的密集深度图执行全局优化，以提高其平滑性。5.如权利要求4所述的设备，其中，在超分辨率处理模块执行局部插值运算时，其利用下列等式来确定正向彩色图像中的待插值像素的深度值Wpq = exp(-(l-a (ΔΩ)) X color_diff-spatial_difT)，其中， α (Δ Ω) = 1/(1+Θ-εΧ(ΔΩ_τ))在上述等式中，ρ表示正向彩色图像中的任一待插值像素，Ν(ρ)表示像素ρ的邻域，q 表示邻域N(p)中的任一种子点，dp表示像素ρ的深度值，dq表示种子点q的深度值，Wpq表示种子点q相对于像素P的深度权重，Δ Ω表示邻域Ν(ρ)中最大深度值与最小深度值之间的差，color_diff和spatial_diff分别表示从种子点q到待插值像素P的彩色近似性和空本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：张辉，孙迅，焦少辉，金庸善，
申请(专利权)人：三星电子株式会社，北京三星通信技术研究有限公司，
类型：发明
国别省市：