用于重建三维对象的系统和方法技术方案

描述了一种由电子设备执行的方法。该方法包括接收对应于第一帧的第一光学数据和第一深度数据。该方法还包括将第一深度数据配准到第一规范模型。该方法还包括将三维(3D)形变模型拟合到第一光学数据。该方法还包括将3D形变模型配准到第二规范模型。该方法还包括基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建。生成3D对象重建。生成3D对象重建。

【技术实现步骤摘要】
【国外来华专利技术】用于重建三维对象的系统和方法
[0001]要求优先权
[0002]本专利申请要求享受于2020年1月19日提交的、标题为“SYSTEMS AND METHODS FOR RECONSTRUCTING A THREE
‑
DIMENSIONAL OBJECT”的编号为16/738,982的美国非临时申请的优先权，该申请转让给本申请的受让人并特此通过引用明确纳入本申请。


[0003]概括而言，本公开内容涉及电子设备。具体地说，本公开内容涉及用于重建三维(3D)对象的系统和方法。

技术介绍

[0004]一些电子设备(例如，相机、视频摄像机、数码相机、蜂窝手机、智能手机、计算机、电视、汽车、个人相机、可穿戴相机、虚拟现实设备(例如，头戴耳机)、增强现实设备(例如，头戴耳机)、混合现实设备、动作相机、监控相机、被安装相机、被连接相机、机器人、无人机、医疗设备、机顶盒等)捕获和/或利用传感器数据。例如，智能手机可以捕获和/或处理静态和/或视频图像。处理传感器数据可能需要相对大量的时间资源、存储器资源和能量资源。所需资源可能根据处理的复杂性而变化。
[0005]在一些情况下，传感器数据可能有噪音和/或可能显示不准确。例如，一些传感器数据可能存在低信噪比(SNR)和/或漂移。从讨论中可以看出，用于改进传感器数据处理的系统和方法可能是有益的。

技术实现思路

[0006]描述了一种由电子设备执行的方法。该方法包括接收对应于第一帧的第一光学数据和第一深度数据。该方法还包括将第一深度数据配准到第一规范模型。该方法还包括将三维(3D)形变模型拟合到所述第一光学数据。该方法还包括将所述3D形变模型配准到第二规范模型。该方法还包括基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建。
[0007]将所述第一深度数据配准可以包括执行对所述第一深度数据的刚性配准和非刚性配准中的至少一个。将所述3D形变模型配准可以包括执行对所述3D形变模型的刚性配准和非刚性配准中的至少一个。
[0008]该方法可以包括接收对应于在所述第一帧之前的第二帧的第二深度数据。该方法还可以包括将所述第二深度数据映射到规范坐标系以更新所述第一规范模型。
[0009]该方法可以包括接收对应于在所述第一帧之前的第二帧的第二光学数据。该方法还可以包括将第二3D形变模型拟合到所述第二光学数据。该方法还可以包括将所述第二3D形变模型映射到规范坐标系以产生所述第二规范模型。
[0010]该方法可以包括确定所述第一深度数据的各个样本的第一法线。该方法还可以包括确定所述3D形变模型的各个样本的第二法线。该方法还可以包括基于对应的第一法线和
对应的第二法线来确定是否选择所述3D形变模型的样本中的每个样本。
[0011]确定是否选择所述3D形变模型的样本中的每个样本可以包括确定所述对应的第一法线和所述对应的第二法线的内积。确定是否选择所述3D形变模型的样本中的每个样本还可以包括将所述内积与阈值进行比较。
[0012]确定是否选择所述3D形变模型的样本中的每个样本可以包括响应于确定所述内积大于所述阈值而选择所述3D形变模型的一样本。确定是否选择所述3D形变模型的样本中的每个样本可以包括响应于确定所述内积不大于所述阈值而拒绝所述样本。
[0013]可以基于所述3D形变模型的被选择样本来生成所述3D对象重建。所述3D对象重建可以是3D面部模型。
[0014]还描述了一种电子设备。该电子设备包括存储器。该电子设备还包括耦合到所述存储器的处理器。所述处理器被配置为接收对应于第一帧的第一光学数据和第一深度数据。所述处理器还被配置为将第一深度数据配准到第一规范模型。所述处理器还被配置为将三维(3D)形变模型拟合到所述第一光学数据。所述处理器还被配置为将所述3D形变模型配准到第二规范模型。所述处理器还被配置为基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建。
[0015]还描述了存储计算机可执行代码的非暂时性有形计算机可读介质。所述计算机可读介质包括用于使电子设备接收对应于第一帧的第一光学数据和第一深度数据的代码。所述计算机可读介质还包括用于使所述电子设备将第一深度数据配准到第一规范模型的代码。所述计算机可读介质还包括用于使所述电子设备将三维(3D)形变模型拟合到所述第一光学数据的代码。所述计算机可读介质还包括用于使所述电子设备将所述3D形变模型配准到第二规范模型的代码。所述计算机可读介质还包括用于使所述电子设备基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建的代码。
[0016]还描述了一种装置。该装置包括用于接收对应于第一帧的第一光学数据和第一深度数据的单元。该装置还包括用于将第一深度数据配准到第一规范模型的单元。该装置还包括用于将三维(3D)形变模型拟合到所述第一光学数据的单元。该装置还包括用于将所述3D形变模型配准到第二规范模型的单元。该装置还包括用于基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建的单元。
附图说明
[0017]图1是示出电子设备的一个示例的框图，其中可以实现用于重建3D对象的系统和方法；
[0018]图2是示出用于重建3D对象的方法的一种配置的流程图；
[0019]图3是示出根据本文所述的一些系统和方法的配准的示例的框图；
[0020]图4是示出用于重建3D对象的方法的另一配置的流程图；
[0021]图5是示出用于选择3D形变模型的样本的方法的一种配置的流程图；
[0022]图6是示出用于确定是否选择3D形变模型的样本的方法的一种配置的流程图；
[0023]图7是示出根据本文所述系统和方法的一些示例的3D面部模型可视化的示例的图；
[0024]图8是示出根据本文所述系统和方法的一些示例的样本选择确定的示例的图；以
及
[0025]图9示出了可以被包括在被配置为实现本文所公开的系统和方法的各种配置的电子设备中的某些组件。
具体实施方式
[0026]可以实现本文公开的系统和方法的一些配置，以便生成对象(例如，一个或多个对象)的三维(3D)模型。例如，本文公开的系统和方法的一些配置涉及利用3D形变模型的非刚性面部重建。如本文所使用的，术语“刚性”及其变体可以指不灵活的对象特征。如本文所使用的，术语“变形”和/或“变换”可以指对象的位置和/或形状的变化。例如，对对象的刚性变形、变换和/或重建可以在对象的每个点与对象的所有其他点不灵活相关的条件下执行。例如，刚性变形或变换可以允许对对象的平移(translation)(例如，平移(shifting))和/或旋转，同时保持对象的各点之间的长度和/或角度。如本文所使用的，术语“非刚性”及其变体可以指灵活对象特征。例如，对对象的非刚性变形、变换和/或重建可以允许对象的一个或多个点与对象的一个或多个其他点灵活相关。例如，非刚性变形或变换可以允许对象的各点之间的一个或多个长度和/或角度的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由电子设备执行的方法，包括：接收对应于第一帧的第一光学数据和第一深度数据；将所述第一深度数据配准到第一规范模型；将三维(3D)形变模型拟合到所述第一光学数据；将所述3D形变模型配准到第二规范模型；以及基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建。2.根据权利要求1所述的方法，其中，将所述第一深度数据配准包括执行对所述第一深度数据的刚性配准和非刚性配准中的至少一个。3.根据权利要求1所述的方法，其中，将所述3D形变模型配准包括执行对所述3D形变模型的刚性配准和非刚性配准中的至少一个。4.根据权利要求1所述的方法，还包括：接收与在所述第一帧之前的第二帧对应的第二深度数据；以及将所述第二深度数据映射到规范坐标系以更新所述第一规范模型。5.根据权利要求1所述的方法，还包括：接收与在所述第一帧之前的第二帧对应的第二光学数据；将第二3D形变模型拟合到所述第二光学数据；以及将所述第二3D形变模型映射到规范坐标系以生成所述第二规范模型。6.根据权利要求1所述的方法，还包括：确定所述第一深度数据的各个样本的第一法线；确定所述3D形变模型的各个样本的第二法线；以及基于对应的第一法线和对应的第二法线来确定是否选择所述3D形变模型的样本中的每个样本。7.根据权利要求6所述的方法，其中，确定是否选择所述3D形变模型的样本中的每个样本包括：确定所述对应的第一法线与所述对应的第二法线的内积；以及将所述内积与阈值进行比较。8.根据权利要求7所述的方法，其中，确定是否选择所述3D形变模型的样本中的每个样本包括：响应于确定所述内积大于所述阈值，选择所述3D形变模型的样本；或响应于确定所述内积不大于所述阈值，拒绝所述样本。9.根据权利要求8所述的方法，其中，生成所述3D对象重建是基于所述3D形变模型的选择的样本的。10.根据权利要求1所述的方法，其中，所述3D对象重建是3D面部模型。11.一种电子设备，包括：存储器；耦合到所述存储器的处理器，其中，所述处理器被配置为：接收对应于第一帧的第一光学数据和第一深度数据；将所述第一深度数据配准到第一规范模型；将三维(3D)形变模型拟合到所述第一光学数据；
将所述3D形变模型配准到第二规范模型；以及基于所配准的第一深度数据和所配准的3D形变模型来生成3D对象重建。12.根据权利要求11所述的电子设备，其中，所述处理器被配置为：通过执行对所述第一深度数据的刚性配准和非刚性配准中的至少一个来将所述第一深度数据配准。13.根据权利要求11所述的电子设备，其中，所述处理器被配置为：通过执行对所述3D形变模型的刚性配准和非刚性配准中的至少一个来将所述3D形变模型配准。14.根据权利要求11所述的电子设备，其中，所述处理器被配置为：接收与在所述第一帧之前的第二帧对应的第二深度数据；以及将所述第二深度数据映射到规范坐标系以更新所述第一规范模型。15.根据权利要求11所述的电子设备，其中，所述处理器被配置为：接收与在所述第一帧之前的第二帧对应的第二光学数据；将第二3D形变模型拟合到所述第二光学数据；以及将所述第二3D形变模型映射到规范坐标系以生成所述第二规范模型。16.根据权利要求11所述的电子设备，其中，所述处理器被配置为：确定所述第一深度数据的各个样本的第一法线；确定所述3D形变模型的各个样本的第二法线；以及基于对应的第一法线和对应的第二法线来确定是否选择所述3D形变模型的样本中的每个样本。17.根据权利要求16所述的电子设...

【专利技术属性】
技术研发人员：Y，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：