使用神经网络进行3D物体重建的系统和方法技术方案

根据一些实施例，提供了一种用于确定投影图案与照射到物体的表面上的所述投影图案的图像之间的对应关系的方法。所述方法包括在物体的表面上照射投影图案的同时获得所述物体的图像。所述方法还包括使用神经网络来输出所述图像中的相应像素与所述投影图案的坐标之间的对应关系。所述方法还包括使用所述图像中的相应像素与所述投影图案的坐标之间的所述对应关系，重建所述物体的所述表面的形状。重建所述物体的所述表面的形状。重建所述物体的所述表面的形状。

【技术实现步骤摘要】
【国外来华专利技术】使用神经网络进行3D物体重建的系统和方法


[0001]本公开总体上涉及三维扫描技术，并且更具体地说，涉及利用神经网络的三维扫描技术。

技术介绍

[0002]三维(3D)扫描技术可以构建物理物体的表面的3D模型。三维扫描的应用横跨许多领域，包括工业设计和制造、计算机动画、科学、教育、医学、艺术、设计等。

技术实现思路

[0003]本公开涉及3D扫描技术。3D扫描的一种方法是使用所谓的“结构光”，其中投影仪将已知的光图案投影到物体的表面(以下简称“投影图案”)。例如，来自投影仪的光可被引导通过印有图案的载玻片。物体的表面的形状是根据摄像机捕获的光图案中的失真推断出来的。一个或多个摄像机可用于获得物体上的图案的反射图像。通过测量图像中图案的位置(例如，测量图案的失真)，计算机系统可以使用简单的几何计算(如例如三角测量算法)来确定物体的表面上的位置。
[0004]为了确定物体的表面上的位置，计算机系统需要知道投影图案内的哪个点对应于图像中的哪个点。根据一些实施例，可以使用经过训练的神经网络推断图像像素与投影图案坐标之间的对应关系。
[0005]根据一些实施例，提供了一种用于在结构光3D扫描方法中消除成像元素的歧义的方法。该方法包括获得物体的图像。图像包括成像图案的多个成像元素。成像图案对应于投影到物体的表面上的投影图案，并且投影图案包括多个投影元素。该方法还包括使用神经网络来输出多个成像元素与多个投影元素之间的对应关系。该方法还包括使用多个成像元素与多个投影元素之间的对应关系来重建物体的表面的形状。
[0006]根据一些实施例，提供了一种用于确定投影图案与照射到物体的表面上的投影图案的图像之间的对应关系的方法。该方法包括在物体的表面上照射投影图案的同时获得物体的图像。该方法还包括使用神经网络来输出图像中的相应像素与投影图案的坐标之间的对应关系。该方法还包括使用图像中的相应像素与投影图案的坐标之间的对应关系来重建物体的表面的形状。
[0007]根据一些实施例，提供了一种用于训练神经网络的方法。神经网络使用模拟数据进行训练，该模拟数据包括投影到模拟物体的表面上的投影图案的多个模拟图像。投影图案包括多个投影元素，并且模拟图像中的每一个均包括模拟图案，该模拟图案包括多个模拟元素。多个模拟元素对应于投影图案的相应投影元素。模拟数据还包括指示相应模拟物体的形状的数据和指示模拟元素与相应投影元素之间的对应关系的数据。使用模拟数据，训练神经网络以确定投影图案的多个投影元素与模拟图案的多个模拟元素之间的对应关系。存储经过训练的神经网络，以便随后用于重建图像。
[0008]根据一些实施例，提供了另一种用于训练神经网络的方法。该方法包括生成模拟
数据，其包含：投影到相应模拟物体的表面上的投影图案的多个模拟图像；指示相应模拟物体的形状的数据；以及指示模拟图像中的相应像素与投影图案坐标之间的对应关系的数据。该方法还包括使用模拟数据来训练神经网络以确定图像与投影图案之间的对应关系。该方法还包括存储经过训练的神经网络，以便随后用于重建图像。
[0009]根据一些实施例，提供了一种计算机系统。计算机系统包括一个或多个处理器和存储器，该存储器存储用于执行本文描述的任何方法的指令。
[0010]根据一些实施例，提供了一种存储指令的非暂时性计算机可读存储介质。非暂时性计算机可读存储介质包括指令，当由计算机系统执行时，该指令使计算机系统执行本文描述的任何方法。
附图说明
[0011]为了更好地理解所描述的各个实施例，应参考下面的实施例描述，结合下面的附图，其中类似的附图标记指代整个附图中的对应部分。
[0012]图1A
–
1B示出了根据一些实施例的成像系统。
[0013]图1C示出了根据一些实施例的投影图案。
[0014]图1D示出了根据一些实施例的成像图案。
[0015]图2是根据一些实施例的成像系统的框图。
[0016]图3是根据一些实施例的远程装置的框图。
[0017]图4示出了根据一些实施例的神经网络的输入和输出。
[0018]图5A
–
5C示出了根据一些实施例的3D重建的方法的流程图。
[0019]图6A
–
6B示出了根据一些实施例的训练神经网络的方法的流程图。
[0020]图7示出了根据一些实施例的另一种3D重建的方法的流程图。
具体实施方式
[0021]现将参考实施例，其实例在附图中示出。在以下描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对本领域普通技术人员而言将显而易见的是，可在没有这些具体细节的情况下实践所描述的相应实施例。在其它情况下，并未详细描述众所周知的方法、程序、组件、电路和网络，以免不必要地模糊实施例的创造性方面。
[0022]图1A
–
1B示出了根据本专利技术的一个实施例的三维(“3D”)成像环境100，其包括投影仪110和一个或多个摄像机112(例如，传感器)。注意，在各种实施例中，可以使用多于一个投影仪和/或多于一个摄像机。如图1A所示，投影仪110被配置成将投影图案(有时也称为“结构照明”)投影到待成像的物体120上。为此，在一些实施例中，将来自投影仪的光投影通过印有投影图案的载玻片。该投影图案包括多个投影元素。投影图案的非限制性实例包括一系列对比线(例如，黑白线)、一系列对比之字形线和点的网格图案。投影图案的进一步实例在美国申请第11/846,494号中描述，该美国申请特此通过引用整体并入。
[0023]光线190
‑
1至190
‑
4各自对应于投影图案的相应投影元素(例如，投影图案中的不同线)。例如，光线190
‑
1表示从投影仪110投影到物体120的表面121的投影图案中的第一投影元素，而光线190
‑
2表示从投影仪110投影到物体120的表面121上的另一个投影元素。光线190在物体120的表面121处反射(作为反射光线192
‑
1至192
‑
4，其各自分别对应于光线
190
‑
1至190
‑
4)。至少一部分光被一个或多个摄像机112捕获。
[0024]在一些实施例中，在用投影图案照亮物体120的表面121的同时，摄像机112捕获物体120的多个图像。在一些实施例中，投影图案以频闪方式照射到物体120的表面上，并且每次将投影图案照射到物体120的表面上时，就会捕获多个图像的图像。如本文所使用的，术语“频闪”是指以固定速率(例如，每秒15帧)重复。
[0025]需要注意的是，尽管投影仪110和摄像机112在图1A
‑
1B中分别示出，但在一些实施例中，投影仪110和摄像机112被集成到单个外壳中作为3D扫描仪200(图2)。3D扫描仪200的用户可以通过将3D扫描仪200相对于物体1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包含：获得物体的图像，其中所述图像包括成像图案的多个成像元素，其中：所述成像图案对应于投影图案，所述投影图案被投影到所述物体的表面上；并且所述投影图案包括多个投影元素；使用神经网络来输出所述多个成像元素与所述多个投影元素之间的对应关系；以及使用所述多个成像元素与所述多个投影元素之间的所述对应关系，重建所述物体的所述表面的形状。2.根据权利要求1所述的方法，其中所述神经网络是第一神经网络；并且所述方法还包括：使用第二神经网络来输出由所述第一神经网络确定的所述多个成像元素与所述多个投影元素之间的所述对应关系的偏移量。3.根据权利要求1所述的方法，使用所述神经网络来输出所述多个成像元素与所述多个投影元素之间的所述对应关系包括将所述物体的所述图像的每个相应像素的值输入到所述神经网络的输入层中的相应节点上。4.根据权利要求1所述的方法，其中：所述物体的所述图像的每个相应像素对应于所述神经网络的输出层中的相应节点；并且所述神经网络的所述输出层中的所述相应节点的值表示所述相应像素与所述投影图案的所述多个投影元素之间的所述对应关系。5.根据权利要求4所述的方法，其中所述神经网络的所述输出层具有与所述物体的所述图像相同的尺寸。6.根据权利要求5所述的方法，其中所述神经网络的输出层小于所述图像的尺寸。7.根据权利要求6所述的方法，使用所述神经网络来输出所述多个成像元素与所述多个投影元素之间的对应关系包括将关于所述投影图案的信息输入到所述神经网络的输入层中。8.根据权利要求1所述的方法，其中投影到所述物体的所述表面上的所述投影图案的所述多个投影元素包含未编码元素。9.根据权利要求8所述的方法，其中投影到所述物体的所述表面上的所述投影图案的所述多个投影元素包含线。10.根据权利要求1所述的方法，其中：所述神经网络使用模拟数据进行训练，所述模拟数据包含多个模拟图像，所述多个模拟图像中的每一个包含：包括多个模拟元素的模拟成像图案，其中所述多个模拟元素中的每一个对应于投影到相应模拟物体的表面上的所述多个投影元素中的相应投影元素；以及指示所述模拟成像图案的多个模拟元素与所述投影图案的所述多个投影元素之间的对应关系的数据。11.根据权利要求10所述的方法，其中对于所述多个模拟图像中的每一个，所述相应模拟物体包括纹理信息。12.根据权利要求11所述的方法，其中所述相应模拟物体的所述纹理信息是除所述相
应模拟物体的自然纹理以外的纹理信息。13.根据权利要求12所述的方法，其中所述相应模拟物体的所述纹理信息包括类似于所述投影图案的所述多个投影元素的特征。14.根据权利要求11所述的方法，其中所述相应模拟物体的所述纹理信息包括文本。15.根据权利要求11所述的方法，其中所述相应模拟物体的所述纹理信息包括线。16.一种计算机系统，其包含一个或多个处理器和存储器，所述存储器存储用于执行根据权利要求1至15中任一项所述的方法的指令。17.一种非暂时性计算机可读存储介质，其存储指令，当由计算机系统执行时，所述指令使所述计算机系统执行根据权利要求1至15中任一项所述的方法。18.一种方法，其包含：在具有一个或多个处理器和存储被配置...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：阿泰克欧洲公司，
类型：发明
国别省市：