信息处理设备、信息处理方法以及用户设备技术

本公开涉及信息处理设备、信息处理方法以及用户设备。根据一个实施例的信息处理设备包括处理电路。处理电路被配置为获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制预定三维模型的至少一部分的变形。处理电路还被配置为确定预定三维模型的该至少一部分中的特征点与深度图的像素之间的对应关系。处理电路还被配置为基于所确定的对应关系，根据深度图生成对象的可应用变形参数的重建三维模型。

【技术实现步骤摘要】
信息处理设备、信息处理方法以及用户设备
本公开一般涉及信息处理，更具体地，涉及用于三维模型重建和/或深度图优化的信息处理设备、信息处理方法和用户设备。
技术介绍
在传统的三维(3D)重建框架中，主要关注于根据静态对象的深度测量来重建对象的表面。一般地，可以通过三角化或飞行时间(ToF)等技术来获得深度信息。另外，存在多种用于提高深度图的质量的深度提升方法。在获得了高质量深度图的情况下，可以通过将深度图进行融合来实现对象表面的3D重建。这些重建方案通常用于重建静态对象。随着诸如RGB-D(颜色-深度)传感器等技术的发展，研究者开始使用例如RGB-D序列作为输入重建非刚性对象，这使得能够重现对象表面的被观察到的变形。
技术实现思路
根据已有方式重建的3D模型难以进行除了所观察到的变形之外的其他可能的变形。这是因为在这些方法中定义的变形是由连续的帧控制的，这些帧与输入的RGB-D序列之间存在稠密对应关系。在下文中给出了关于本专利技术实施例的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，以下概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。根据一个实施例，提供一种信息处理设备，其包括处理电路。处理电路被配置为获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制预定三维模型的至少一部分的变形。处理电路还被配置为确定预定三维模型的该至少一部分中的特征点与深度图的像素之间的对应关系。处理电路还被配置为基于所确定的对应关系，根据深度图生成对象的可应用变形参数的重建三维模型。根据另一个实施例，提供一种信息处理方法，包括：获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制预定三维模型的至少一部分的变形；确定预定三维模型的该至少一部分中的特征点与深度图的像素之间的对应关系；以及基于所确定的对应关系，根据深度图生成对象的可应用变形参数的重建三维模型。另一方面，根据一个实施例，提供一种信息处理设备，其包括处理电路。处理电路被配置为：获取对象的深度图以及预定三维模型；将预定三维模型配准到基于深度图生成的三维坐标点以得到配准三维模型；以及基于配准三维模型对深度图进行优化。根据另一个实施例，提供一种信息处理方法，包括：获取对象的深度图以及预定三维模型；将预定三维模型配准到基于深度图生成的三维坐标点以得到配准三维模型；以及基于配准三维模型对深度图进行优化。此外，本专利技术实施例还包括一种用户设备，其包括用户接口装置，用户接口装置用于接收用户的操作指令。该用户设备包括或者通信耦合至根据上述实施例的信息处理设备，并且操作指令可以包括指定或选择预定三维模型的指令、指定或调整变形参数的指令或者与配准有关的指令。根据上述方面的实施例，能够重建参数化的且可变形的3D模型，提供了一种由原始输入数据重建语义化3D模型的方式。此外，能够有效地基于已有3D模型进行对深度数据的优化。附图说明本专利技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本专利技术的优选实施例和解释本专利技术的原理和优点。在附图中：图1是示出根据本专利技术一个实施例的信息处理设备的配置示例的框图；图2是示出根据另一个实施例的信息处理设备的配置示例的框图；图3是示出根据又一个实施例的信息处理设备的配置示例的框图；图4是示出根据再一个实施例的信息处理设备的配置示例的框图；图5是示出根据本专利技术一个实施例的信息处理方法的过程示例的流程图；图6是示出根据本专利技术另一个实施例的信息处理设备的配置示例的框图；图7是示出根据本专利技术另一个实施例的信息处理方法的过程示例的流程图；图8是示出根据本专利技术一个实施例的信息处理设备的配置示例的框图；图9是示出根据本专利技术另一个实施例的信息处理设备的配置示例的框图；图10是示出实现本公开的方法和设备的计算机的示例性结构的框图；图11是用于说明本专利技术的一个示例实施例中的信息处理的总体配置的示意图；图12是用于说明本专利技术的一个示例实施例中的信息处理的总体过程的示意图；图13A和图13B是用于说明拓扑转移的示意图；图14是说明用于测试本专利技术示例实施例的处理效果的深度图像的生成过程的图；图15示出了本专利技术示例实施例的对于模型配准的处理效果的示例；图16示出了用于测试本专利技术示例实施例的处理效果的示例图像；图17示出了通过本专利技术示例实施例基于图16的示例图像重建的3D模型；以及图18示出了通过本专利技术示例实施例重建的3D模型的基于变形参数进行的变形。具体实施方式下面将参照附图来说明本专利技术的实施例。在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关的、本领域普通技术人员已知的部件和处理的表示和描述。图1示出了根据本专利技术一个实施例的信息处理设备100的配置示例。信息处理设备例如可以被实现为个人计算机(例如桌上型计算机、膝上型计算机等)、工作站、游戏机(例如体感游戏机)、电视机、移动终端(诸如智能电话、平板计算机、便携式游戏终端等)或者摄像装置(例如摄像机、监视器)等。然而，本专利技术实施例的应用范围不限于以上列举的方面，而是可以用于任何能够获取深度图像的设备，或者与够能获取深度图像的设备通信耦合或电气耦合以对深度图像进行处理的设备。如图1所示，根据本实施例的信息处理设备100包括处理电路110。处理电路110例如可以实现为特定芯片、芯片组或者中央处理单元(CPU)等。处理电路110包括获取单元111、确定单元113和生成单元115。需要指出，虽然附图中以功能块的形式示出了获取单元111、确定单元113和优化单元115，然而应理解，各的功能也可以由处理电路110作为一个整体来实现，而并不一定是通过处理电路110中分立的实际部件来实现。另外，虽然图中以一个框示出处理电路110，然而信息处理设备100可以包括多个处理电路，并且可以将获取单元111、确定单元113和生成单元115的功能分布到多个处理电路中，从而由多个处理电路协同操作来执行这些功能。获取单元111被配置为获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制该预定三维模型的至少一部分的变形。深度图例如可以是通过深度摄像装置实时获取的，或者例如可以是基于在存储装置中存储的先前获取的深度数据得到的。另外，作为预定三维模型的示例，已经存在多种能够通过参数来控制其特定部分运动的3D模型，这些模型的变形(通常改变几百或几千个体素)通常由少量的参数控制。这些参数化模型通常用于重建感兴趣的非刚性表面，例如人脸。作为示例，FaceShift是个一个代表性的商用软件，其使用参数化变形来重建人脸，并且可以用于表情传递。相应地，在示例实施例中，对象或者对象的可运动部分可以包括人脸。确定单元113被配置为确定获取单元111所获取的预定三维模型的上述至少一部分中的特本文档来自技高网...

【技术保护点】
1.一种信息处理设备，包括：处理电路，被配置为获取对象的深度图以及预定三维模型，其中所述预定三维模型具有变形参数，所述变形参数用于控制所述预定三维模型的至少一部分的变形；确定所述预定三维模型的所述至少一部分中的特征点与所述深度图的像素之间的对应关系；以及基于所确定的对应关系，根据所述深度图生成所述对象的可应用所述变形参数的重建三维模型。

【技术特征摘要】
1.一种信息处理设备，包括：处理电路，被配置为获取对象的深度图以及预定三维模型，其中所述预定三维模型具有变形参数，所述变形参数用于控制所述预定三维模型的至少一部分的变形；确定所述预定三维模型的所述至少一部分中的特征点与所述深度图的像素之间的对应关系；以及基于所确定的对应关系，根据所述深度图生成所述对象的可应用所述变形参数的重建三维模型。2.根据权利要求1所述的信息处理设备，其中，所述对应关系的确定包括：将所述预定三维模型配准到基于所述深度图生成的点云；以及将配准后的所述特征点投影到所述深度图的图像平面。3.根据权利要求1所述的信息处理设备，处理电路还被配置为：将所述预定三维模型配准到基于所述深度图生成的点云，以得到配准三维模型；以及基于所述配准三维模型对所述深度图进行优化。4.根据权利要求3所述的信息处理设备，其中，所述优化包括：通过求解目标函数得出优化深度图，其中，所述目标函数包含第一保真项和第二保真项，所述第一保真项与所述对象的当前深度图的深度值有关，所述第二保真项与基于所述配准三维模型得到的深度图的深度值有关。5.根据权利要求4所述的信息处理设备，其中，所述目标函数还包括正则项，所述正则项用于保持所述优化深度图的平滑度。6.根据权利要求3所述的信息处理设备，其中，处理电路被配置为迭代地进行所述配准和所述优化。7.根据权利要求2或3所述的信息处理设备，其中，所述配准包括：通过迭代最近点方法将所述预定三维模型配准到所述点云。8.根据权利要求2或3所述的信息处理设备，其中，所述配准包括：将所述预定三维模型与所述点云做整体的刚性配准；在所述刚性配准的基础上调整所述变形参数，将所述预定三维模型与所述点云做局部的非刚性配准；迭代进行所述刚性配准和所述非刚性配准，在迭代过程中，参考用户指令以提高匹配准确度，从而使所述预定三维模型的形状配合所述点云。9.根据权利要求1所述的信息处理设备，其中，所述重建三维模型的生成包括：基于所确定的所述预定三维模型的特征点与所述深度图的像素之间的对应关系，根据所述预定三维模型的特征点间的拓扑关系确定所述深度图的像素间的拓扑关系；以及基于所述深度图的像素间的拓扑关系确定所述重建三维模型的特征点间的拓扑关系。10.根据权利要求9所述的信息处理设备，其中，所述重建三维模型的特征点间的拓扑关系的确定包括：当两个或更多个所述深度图中的两个或更多个像素对应于所述预定三维模型的同一个特征点时，通过求坐标平均来获得对应该特征点的一个像素位置；将三维空间划分为体素，将所述深度图转化为三维点云，通过最近邻原则确定点云和体素之间的关系；将多个三维点云融合之后得到一个基于体素的重建三维模...

【专利技术属性】
技术研发人员：陈崇雨，张磊，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP