使用场景流估计的非刚性3D物体建模制造技术

一种用于重建非刚性物体的设备包括：深度传感器(204)；处理器，用于重复执行以下步骤：使用深度传感器来捕获点云，其中，第一个点云被设置为规范模型；使用所述捕获到的点云和前一点云来估计场景流(403)；使用所述估计出的场景流来预扭曲所述捕获到的点云；估计所述捕获到的点云的变形参数；使用所述变形参数来扭曲所述预扭曲的点云；将所述扭曲的点云合并到所述规范模型中。所述设备实现了非刚性物体的准确稳定建模。准确稳定建模。准确稳定建模。

【技术实现步骤摘要】
【国外来华专利技术】使用场景流估计的非刚性3D物体建模


[0001]本专利技术涉及一种用于重建非刚性3D物体的方法和设备。

技术介绍

[0002]使用相机传感器输入的顺序深度图像(点云)进行3D物体重建在计算机视觉和机器人
已经得到了广泛的研究。为了从顺序深度图像中重建3D物体，将输入深度图像进行对齐并融合到单个坐标系中。该领域的一个难题是非刚性物体重建，其中，重建目标在扫描过程中一直移动和变形。在这种情况下，算法需要处理物体表面变形。为了实现非刚性3D物体重建，人们提出了基于非刚性迭代最近点(iterative closest point，ICP)的方法。非刚性ICP是一种跟踪输入点云的技术，这种技术可以使用尽可能刚性(as
‑
rigid
‑
as
‑
possible，ARAP)约束来处理物体表面变形。这些方法可以用于跟踪扫描过程中物体的表面变形，然后使用跟踪到的表面变形信息将输入点云融合到单个坐标系中。然而，很难处理目标物体的大幅度运动。这是由于变形跟踪过程中的对应搜索过程有难度。现有方法使用目标物体的先前状态来查找重建后的模型和输入点云数据之间的对应关系。如果有大幅度运动或大范围遮挡，则对应搜索过程会失败。因此，改进表面变形跟踪过程是非刚性3D物体重建中的一个重要问题。
[0003]一类现有方法是基于先验模型的非刚性ICP。在跟踪输入数据中的目标物体之前，使用特定的模板3D模型，例如脸部和人体。在这些方法中，首先，通过估计模型参数，例如关节角度、外形参数和地标位置，将模板3D模型拟合到输入数据。然后，使用估计出的模型参数来跟踪目标物体。在一种方法中，将3D脸部模型和身体模型用作跟踪目标物体的先验模型。在另一种方法中，使用通过基于机器学习的人体模型生成从输入颜色和深度(RGB
‑
D)图像中生成的3D人体模型，然后使用该模型来跟踪重建目标。这些方法可以用于稳定跟踪和重建目标物体。
[0004]这些方法最重要的一点是，针对具体的物体，例如人体和脸部。这些方法使用3D先验模型来跟踪目标物体。因此，这些方法不能用于任意的非刚性3D建模任务。虽然这些方法在重建过程中没有显式地使用模板模型，但需要使用人体模型数据集来训练神经网络。因此，经过训练的网络无法处理非人类物体。这些就是上述方法的局限性。
[0005]另一类现有方法是场景流估计，即一种跟踪输入3D点云的技术。在这些方法中，使用机器学习技术来估计点云的3D流。在一种方法中，在2D图像域上训练3D场景流。该方法输出刚性掩模(rigidity mask)，然后从整个刚性场景流中分解出多个刚性场景流。因此，该方法可以区分相机运动和物体运动。在另一种方法中，直接在3D空间上训练场景流。网络学习表示点运动的流嵌入(flow embedding)。这些方法可以应用于一般的3D点云跟踪任务。
[0006]现有的3D场景流估计方法的一个问题是，这些方法不适用于非刚性物体建模任务。这些方法没有对表面变形进行正则化。因此，这些方法无法解决流模糊性。另外，虽然后一种方法可以直接在3D空间上训练网络，但不能处理大的点云输入。此外，这种方法只考虑单一尺度上的点差。因此，使用后一种方法很难估计精细密集的场景流。这些就是上述方法
的局限性。
[0007]在目标物体的大幅度运动引起的非刚性3D物体重建中，需要解决点云跟踪过程的问题。

技术实现思路

[0008]本专利技术提供一种用于重建非刚性物体的设备，以准确稳定地重建非刚性物体。
[0009]根据第一方面，提供了一种用于重建非刚性物体的设备。所述设备包括：深度传感器；处理器，用于重复执行以下步骤：使用深度传感器来捕获点云，其中，第一个点云被设置为规范模型；使用所述捕获到的点云和前一点云来估计场景流；使用所述估计出的场景流来预扭曲所述捕获到的点云；估计所述捕获到的点云的变形参数；使用所述变形参数来扭曲所述预扭曲的点云；将所述扭曲的点云合并到所述规范模型中。
[0010]在所述第一方面的一种可能的实现方式中，所述设备还包括显示器，所述估计场景流包括在接收到结束以下步骤的用户输入之前重复执行以下步骤：使用所述捕获到的点云和前一点云来估计场景流；将所述估计出的场景流投影到平面上，并且在所述显示器上显示；接收用户输入以调整场景流估计参数。
[0011]在所述第一方面的一种可能的实现方式中，所述估计场景流包括：使用第一点云卷积核从所述前一点云中生成第一点特征，并且将所述第一点特征输入到所述第一点云卷积核的下一层；使用第二点云卷积核从所述捕获的点云中生成第二点特征，并且将所述第二点特征输入到所述第二点云卷积核的下一层；使用所述第一点特征和所述第二点特征以及在所述下一层估计出的场景流来估计所述场景流。
[0012]在所述第一方面的一种可能的实现方式中，所述使用所述第一点特征和所述第二点特征以及在所述下一层中估计出的场景流来估计所述场景流包括：使用根据在所述下一层中估计出的所述场景流计算的初始场景流来扭曲所述点特征；根据尽可能刚性成本计算3D成本量；根据所述3D成本量细化所述初始场景流，以得到所述估计出的场景流。
[0013]根据第二方面，提供了一种用于重建非刚性物体的方法。所述方法包括重复执行以下步骤：使用深度传感器来捕获点云，其中，第一个点云被设置为规范模型；使用所述捕获到的点云和前一点云来估计场景流；使用所述估计出的场景流来预扭曲所述捕获到的点云；估计所述捕获到的点云的变形参数；使用所述变形参数来扭曲所述预扭曲的点云；将所述扭曲的点云合并到所述规范模型中。
[0014]根据第三方面，提供了一种存储介质。所述存储介质上存储有程序，当所述程序有处理器执行时，所述程序使得所述处理器执行所述第二方面提供的方法。
附图说明
[0015]为了更清楚地描述本专利技术实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单的介绍。以下描述中的附图仅示出了本专利技术的一些实施例，并且对于本领域普通技术人员而言，在不付出创造性劳动的前提下还可以根据这些附图获得其它附图。
[0016]图1A示出了第一实施例提供的重建系统101的使用场景的一个示例。
[0017]图1B示出了第一实施例提供的重建系统102的使用场景的一个示例。
[0018]图2示出了第一实施例提供的硬件配置的框图。
[0019]图3示出了第一实施例提供的功能配置的框图。
[0020]图4示出了第一实施例提供的非刚性物体重建的流程图。
[0021]图5示出了3D场景流估计网络的整体架构。
[0022]图6示出了估计器
‑
L1 505的场景流估计器的详细内容。
[0023]图7是场景流估计参数调整过程的流程图。
[0024]图8示出了3D场景流估计参数调整的用户界面的一个示例。
具体实施方式
[0025]下面结合本专利技术的实施例中的附图，对本专利技术的实施例中的技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于重建非刚性物体的设备，其特征在于，所述设备包括：深度传感器；处理器，用于重复执行以下步骤：使用深度传感器来捕获点云，其中，第一个点云被设置为规范模型；使用所述捕获到的点云和前一点云来估计场景流；使用所述估计出的场景流来预扭曲所述捕获到的点云；估计所述捕获到的点云的变形参数；使用所述变形参数来扭曲所述预扭曲的点云；将所述扭曲的点云合并到所述规范模型中。2.根据权利要求1所述的设备，其特征在于，所述设备还包括显示器，所述估计场景流包括在接收到结束以下步骤的用户输入之前重复执行以下步骤：使用所述捕获到的点云和前一点云来估计场景流；将所述估计出的场景流投影到平面上，并且在所述显示器上显示；接收用户输入以调整场景流估计参数。3.根据权利要求1或2所述的设备，其特征在于，所述估计场景流包括：使用第一点云卷积核从所述前一点云中生成第一点特征，并且将所述第一点特征输入到所述第一点云卷积核的下一层；使用第二点云卷积核从所述捕获的点云中生成第二点特征，并且将所述第二点特征输入到所...

【专利技术属性】
技术研发人员：高福美竹富，李阳，竹原光里，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：