利用纹理解析的对象重建制造技术

提供了用于生成一个或多个三维(3D)模型的技术。在一个示例中，获得对象(例如，面部或其它对象)的图像，并且生成图像中的对象的3D模型。3D模型包括几何形状信息。确定用于3D模型的色彩信息，并且基于对几何形状信息和用于3D模型的色彩信息的修改，来生成对象的经拟合的3D模型。在一些情况下，色彩信息(例如，对色彩信息的确定和/或修改)和经拟合的3D模型可以是基于一个或多个顶点级别拟合过程的。基于经拟合的3D模型以及与经拟合的3D模型相关联的深度信息来生成对象的经细化的3D模型。在一些情况下，经细化的3D模型可以是基于像素级别细化或拟合过程的。细化或拟合过程的。细化或拟合过程的。

【技术实现步骤摘要】
【国外来华专利技术】利用纹理解析的对象重建


[0001]概括而言，本公开内容涉及图像处理，并且更具体地，本公开内容涉及用于利用纹理解析来执行对象重建的技术和系统。

技术介绍

[0002]许多设备和系统允许通过生成场景的图像(也被称为帧)和/或视频数据(包括多个图像或帧)来捕获场景。例如，相机或包括相机的计算设备(例如，诸如包括一个或多个相机的移动电话或智能电话之类的移动设备)可以捕获场景的图像序列。图像和/或视频数据可以由这样的设备和系统(例如，移动设备、IP相机等)捕获和处理，并且可以被输出以用于消耗(例如，被显示在设备和/或其它设备上)。在一些情况下，图像和/或视频数据可以由这样的设备和系统捕获并且输出以供其它设备处理和/或消耗。
[0003]可以对图像进行处理(例如，使用对象检测、识别、分割等)，以确定在图像中存在的任何对象，这可能对于许多应用是有用的。例如，可以确定用于表示图像中的对象的模型，并且可以使用该模型来促进各种系统的有效操作。除了许多其它应用和系统之外，此类应用和系统的示例包括增强现实(AR)、机器人、汽车业和航空、三维场景理解、对象抓取本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成一个或多个三维(3D)模型的方法，所述方法包括：获得对象的图像；生成所述图像中的所述对象的3D模型，所述3D模型包括几何形状信息；确定用于所述3D模型的色彩信息；基于对所述几何形状信息和用于所述3D模型的所述色彩信息的修改，来生成所述对象的经拟合的3D模型；以及基于所述经拟合的3D模型以及与所述经拟合的3D模型相关联的深度信息来生成所述对象的经细化的3D模型。2.根据权利要求1所述的方法，其中，所述色彩信息包括反照率色彩。3.根据权利要求1所述的方法，其中，生成所述对象的所述3D模型包括：获得通用对象模型；识别所述图像中的所述对象的关键点；以及通过使用所述对象的所识别的关键点将所述通用对象模型拟合到所述图像中的所述对象来生成所述3D模型。4.根据权利要求1所述的方法，其中，生成所述对象的所述经拟合的3D模型以及确定用于所述3D模型的所述色彩信息包括：执行所述3D模型的至少一个顶点级别拟合，所述至少一个顶点级别拟合修改所述3D模型的所述几何形状信息并且使用对象解析遮罩来确定用于所述3D模型的所述色彩信息，所述对象解析遮罩定义所述3D模型的用于色彩调整的一个或多个区域。5.根据权利要求4所述的方法，其中，执行所述3D模型的所述至少一个顶点级别拟合包括：执行所述几何形状信息和所述色彩信息的联合优化。6.根据权利要求4所述的方法，其中，执行所述3D模型的所述至少一个顶点级别拟合包括：识别由所述对象解析遮罩定义的所述一个或多个区域；执行所述3D模型到所述对象的第一顶点级别拟合，所述第一顶点级别拟合通过将所述3D模型的每个顶点移位以拟合所述图像中的所述对象来修改所述3D模型的所述几何形状信息，所述第一顶点级别拟合还确定用于所述3D模型的每个顶点的所述色彩信息；以及执行所述3D模型到所述对象的第二顶点级别拟合，所述第二顶点级别拟合调整用于所述3D模型的被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点的所述色彩信息。7.根据权利要求6所述的方法，其中，确定用于所述3D模型的每个顶点的所述色彩信息包括：使用聚类算法来确定用于所述3D模型的被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点的多个候选色彩；以及针对被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点，从针对每个顶点确定的所述多个候选色彩中选择最亮色彩。8.根据权利要求7所述的方法，其中，所述聚类算法包括K
‑
means算法。9.根据权利要求1所述的方法，其中，生成所述对象的所述经细化的3D模型包括：执行所述经拟合的3D模型的像素级别细化，所述像素级别细化将所述深度信息添加到
所述经拟合的3D模型的一部分中。10.根据权利要求9所述的方法，还包括：使用细化遮罩来确定所述经拟合的3D模型的用于使用所述像素级别细化来添加所述深度信息的所述一部分。11.根据权利要求10所述的方法，其中，所述对象包括面部，并且其中，所述细化遮罩包括眼睛遮罩，所述眼睛遮罩指示所述一部分包括所述面部的在所述面部的眼睛区域之外的区域。12.根据权利要求9所述的方法，其中，执行所述经拟合的3D模型的所述像素级别细化包括：生成用于所述经拟合的3D模型的反照率图像和深度图像；以及使用所述反照率图像和所述深度图像来生成所述经细化的3D模型。13.根据权利要求12所述的方法，还包括：将平滑函数应用于所述经拟合的3D模型。14.根据权利要求13所述的方法，其中，所述平滑函数包括离散Laplacian平滑函数。15.根据权利要求1所述的方法，其中，所述对象是面部。16.根据权利要求1所述的方法，还包括：输出所述对象的所述经细化的3D模型。17.一种用于生成一个或多个三维(3D)模型的装置，包...

【专利技术属性】
技术研发人员：CM，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：