使用单幅彩色图像和深度信息的面部纹理贴图生成制造技术

提供一种用于使用单幅彩色图像和深度信息来生成面部纹理贴图的电子装置。所述电子装置存储面部的第一彩色图像和对应深度信息、面部的未纹理化三维(3D)面部模型和参考面部纹理模型。所述电子装置基于所述未纹理化3D面部模型、所述第一彩色图像和所述深度信息来生成所述面部的第一纹理贴图。所述电子装置还通过对所述第一纹理贴图上的多个第一有效点进行所述参考面部纹理模型的纹理模型拟合来生成第二纹理贴图。所述电子装置基于所述第二纹理贴图的目标函数的最小化来细化所述第二纹理贴图，并且进一步基于所述第一纹理贴图和所述细化的第二纹理贴图来生成最终纹理贴图。细化的第二纹理贴图来生成最终纹理贴图。细化的第二纹理贴图来生成最终纹理贴图。

【技术实现步骤摘要】
【国外来华专利技术】使用单幅彩色图像和深度信息的面部纹理贴图生成
[0001]相关申请的引用/引用并入
[0002]无。


[0003]本公开的各个实施例涉及三维(3D)建模技术、虚拟人技术和虚拟现实(VR)技术。更具体地，本公开的各个实施例涉及使用单幅彩色图像和深度信息来生成面部纹理贴图(map)的电子装置和方法。

技术介绍

[0004]三维(3D)计算机图形和3D建模领域的进步提供了有助于在3D计算机图形环境中创建3D模型和可视化真实对象的多种技术。诸如3D角色模型之类的3D模型越来越多地用于动画电影、游戏和虚拟现实系统，以增强用户体验。人的面部的3D面部模型可以是类似于人的实际面部的3D图形模型。通常，为了将与人关联的面部纹理渲染到3D面部模型上，可能需要纹理贴图。这样做可能是为了确保渲染的3D面部模型与人的面部相似，并且对观众来说显得逼真。
[0005]在一些常规方法中，可以基于从数量有限的视点捕捉的数量有限的面部图像来生成纹理贴图。在这样的方法中，可以通过将来自数量有限的面部图像的颜色信息直接映射到U
‑
V坐标贴图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种电子装置，包括：电路，所述电路被配置成：基于用户的面部的未纹理化3D面部模型、第一彩色图像和对应深度信息来生成用户的面部的第一纹理贴图；通过对生成的第一纹理贴图上的多个第一有效点进行参考面部纹理模型的纹理模型拟合来生成用户的面部的第二纹理贴图，其中参考面部纹理模型是用于与用户的面部不同的多个面部的多个面部纹理贴图的主成分分析(PCA)模型，以及其中多个第一有效点对应于属于在第一彩色图像中观察到的用户的面部的点；基于所生成的第二纹理贴图的目标函数的最小化来细化所生成的第二纹理贴图；和基于所生成的第一纹理贴图和细化的第二纹理贴图为用户的面部生成最终纹理贴图。2.按照权利要求1所述的电子装置，其中所述未纹理化3D面部模型是用户的面部的形状细化的3D面部模型。3.按照权利要求1所述的电子装置，其中所述PCA模型对应于通过对与用户的面部不同的多个面部的多个面部纹理贴图应用PCA而提取的特征向量和特征值的组合。4.按照权利要求1所述的电子装置，还包括扫描设备，所述扫描设备被配置成捕捉用户的面部的第一多个彩色图像和与第一多个彩色图像对应的第一深度信息，其中第一多个彩色图像和对应的第一深度信息包括第一彩色图像和对应深度信息。5.按照权利要求4所述的电子装置，其中所述电路还被配置成基于捕捉的第一多个彩色图像和对应的第一深度信息，生成用户的面部的未纹理化3D面部模型。6.按照权利要求1所述的电子装置，还包括扫描设备，所述扫描设备被配置成捕捉与用户的面部不同的多个面部的第二多个彩色图像和对应的第二深度信息，其中所捕捉的多个面部的第二多个彩色图像是在公共环境光照条件下捕捉的。7.按照权利要求6所述的电子装置，其中所述电路还被配置成：基于捕捉的第二多个彩色图像来生成多个面部中的每一个的面部网格，其中多个面部中的每一个的面部网格彼此配准；和基于生成的多个面部中的对应面部的面部网格在U
‑
V坐标贴图上的展开，生成多个面部中的对应面部的多个面部纹理贴图中的每个面部纹理贴图。8.按照权利要求7所述的电子装置，其中所述电路还被配置成通过对与用户的面部不同的多个面部的多个面部纹理贴图应用主成分分析(PCA)来生成参考面部纹理模型。9.按照权利要求1所述的电子装置，其中所述电路还被配置成：确定第一彩色图像上的第一多个三角形；和基于第一彩色图像在3D空间中的未纹理化3D面部模型上的透视投影，将第一彩色图像上的第一多个三角形中的每个三角形映射到未纹理化3D面部模型上的第二多个三角形中的对应三角形。10.按照权利要求9所述的电子装置，其中所述电路还被配置成通过将第二多个三角形U
‑
V坐标映射在U
‑
V坐标贴图上来确定U
‑
V坐标贴图上的第三多个三角形。11.按照权利要求10所述的电子装置，其中所述电路还被配置成：计算U
‑
V坐标贴图上的第三多个三角形和第一彩色图像上的第一多个三角形之间的仿
射变换；和通过对第三多个三角形中的每个三角形应用纹理来确定纹理化U
‑
V坐标贴图，其中对每个三角形应用纹理是基于计算...

【专利技术属性】
技术研发人员：胡捷，M，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：