用于获取物理对象的3维数字表示的系统技术方案

一种用于创建物理对象的数字3D表示的方法，所述物理对象包括对象表面；其中，所述方法包括：获取输入数据，所述输入数据包括所述物理对象的多个捕获图像和所述对象的表面法线信息，所述捕获图像由图像捕获设备捕获，所述表面法线信息表示与对象表面的各个部分关联的对象表面法线；创建对象表面的数字3D表示；其中，创建数字3D表示至少基于所获得的多个捕获图像和所获得的表面法线信息。

A 3-D Digital Representation System for Physical Objects

【技术实现步骤摘要】
【国外来华专利技术】用于获取物理对象的3维数字表示的系统
本专利技术涉及用于获得物理对象的3D数字表示的方法和装置。特别地，本专利技术涉及包括这样的方法和装置的玩具增强型游戏系统，例如，包括具有连接构件的玩具构造元件的系统，所述连接构件用于将玩具构造元件彼此可拆卸地互连。
技术介绍
玩具构造系统已为人所知数十年。多年来，简单的箱形构建块已经补充了具有特定外观或机械或电气功能的其他构造元件，以增强游戏价值。这些功能包括例如电机、开关和灯，以及可编程处理器，可接受来自传感器的输入，并可响应接收的传感器输入激活功能元件。已经进行了多次尝试以通过物理玩具来控制虚拟游戏。许多这样的系统要求玩具通过有线或无线连接通信地耦合到计算机。然而，这些现有技术系统需要玩具和计算机系统之间的通信接口。而且，上述现有技术玩具相对复杂，包括电子元件或甚至存储器和通信接口。而且，从附件制造玩具时的自由度可能是有限的。其他系统在玩具增强型游戏的背景下使用视觉技术。例如，US2011/298922公开了一种用于提取物理对象的图像的系统。所提取的图像可以在显示设备上数字地表示为虚拟世界或视频游戏的一部分，其中禁止虚拟世界和/或视频游戏的对象是根据现实世界中的构造集来设计和构建的。然而，在许多视频游戏或其他虚拟环境中，期望提供准确地类似于物理对象的三维虚拟对象。通常，用于从一组多个图像创建三维(3D)模型的过程被称为来自多个图像的3D重建。在下文中，物理对象的3D模型也被称为物理对象的3D形状的数字表示。根据至少一个方面，因此期望提供一种用于以用户友好的方式创建物理对象的三维(3D)形状的数字表示的过程，例如，物理玩具构造模型的3D形状的数字表示。特别地，期望提供一种易于使用并且提供准确表示物理对象的3D形状的数字表示的方法。通常希望这种方法在诸如环境照明条件、所用设备的机械不精确性和/或其他因素等因素方面是稳健的。通常希望提供一种例如玩具增强型游戏系统的玩具系统的教育和/或游戏价值的方法和装置。还希望提供一种玩具构造系统，其中一组构造元件可以容易地用在不同的玩具构造模型中和/或与现有的玩具构造元件组合使用。此外，希望提供一种玩具构造系统，其允许用户，特别是儿童，以用户友好、有效、灵活和可靠的方式构造多个玩具模型。特别地，希望提供一种玩具构造系统，其允许在诸如游戏系统的虚拟环境中创建虚拟对象的用户友好且灵活的方式。
技术实现思路
根据第一方面，这里公开了一种用于创建物理对象的至少对象表面的数字表示的方法。通常，对象表面是3D空间中的表面，其包括在3D空间中具有各自取向的表面部分。该方法包括：-获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示对象表面法线与对象表面的各个部分相关联；-创建至少对象表面的数字表示；其中，创建对象表面的数字表示至少基于所获得的多个捕获图像和所获得的表面法线信息，并且包括：-获得对象表面的中间表示，中间表示包括表示对象表面的第一部分的第一部分；-修改中间表示的第一部分以获得修改的表示；其中修改中间表示的第一部分包括：-确定对象表面的第一部分附近的对象表面的第二部分；-从所获得的表面法线信息确定与所确定的第二部分相关联的一个或多个对象表面法线；-至少部分地基于所确定的一个或多个对象表面法线来修改中间表示的第一部分。这种过程的实施例也将被称为3D对象重建过程或3D重建流水线。因此，这里描述的方法的实施例不仅使用来自多个捕获图像的信息，还使用关于对象的对象表面法线的信息，从而提高物理对象的3D形状的重建数字表示的质量。特别地，对象表面法线表示物理对象的对象表面法线而不是从对象的创建的3D表面表示导出的虚拟表面法线，即表示所创建的数字3D表示的虚拟表面的定向。所获得的对象表面法线也可以称为“外部”表面法线，因为它们是从不同于所创建的数字3D表面表示的源导出的，例如，与虚拟3D表面的网格表示不同。外部对象表面法线可以例如被获得作为表示从例如相机视点的给定视点看到的表面的表面法线的法线贴图。因此，法线贴图(normalmap)可以是法线矢量的2D阵列。当该过程选择性地使用关于与表面的一部分的接近度相关的对象表面法线的信息以便修改该部分的数字表示时，可以实现特别高质量的重建，例如，对于具有许多平坦、光滑表面和明显边缘的对象。中间表示的第一部分的修改选择性地基于与对象表面的第二部分相关联的对象法线，即基于仅与第二部分相关联的表面法线。因此，中间表示的修改仅基于局部法线信息，而不是基于与对象表面的所有部分相关联的全局法线信息。然而，应当理解，该过程可以包括确实取决于全局法线信息的附加步骤。该修改至少部分地基于表面法线信息，即，修改还可以基于表面法线信息以外的信息。接近度可以基于合适的距离度量，例如，应用于中间表示的距离度量。距离度量的示例包括欧几里德距离。接近度也可以被定义为网格表示的顶点和/或表面元素的邻域，例如，单环顶点或k环顶点，其中k是正整数，例如，K＝1。中间表示的第一部分可以表示对象表面的点或区域和/或由中间表示定义的虚拟表面。第二部分可以包括第一部分中的一些或全部；或者，第二部分可以与第一部分不相交。例如，第一部分可以是点或区域，第二部分可以包围第一部分，例如，围绕限定第一部分的区域的周边。在一些实施例中，第一部分可以是第一顶点，第二部分可以是由围绕第一顶点的顶点限定的表面元素表示的对象表面的一部分，例如，通过围绕第一顶点的1环(或更高阶环)的顶点。数字表示可以是对象的至少表面的任何合适的表示，并且特别是3D空间中的对象的表面的形状，适合于提供物理对象的数字3D模型。在一些实施例中，数字表示包括共同定义虚拟3D空间中的虚拟表面的、例如平坦表面元素的表面元素的网格。表面元件可以是例如是由一组顶点定义的三角形或其他类型的多边形。数字表示的其他示例包括体素表示。捕获的图像通常表示来自给定视点的场景的视图；因此，图像可以被视为从3D场景到2D图像平面的投影。多个捕获图像可以包括从相对于物理对象的相应视点捕获的图像。优选地，多个图像包括两个以上的图像。图像可以指示光强度和/或颜色信息，例如，在各个图像位置处的不同颜色/波长的相应强度。捕获的图像可以由图像捕获设备捕获，例如包括一个或多个数字相机和/或一个或多个深度相机的图像捕获设备，例如如下所述。在一些实施例中，图像捕获设备提供附加信息，例如深度信息、偏振信息或其他类型的信息；在一些实施例中，除了图像之外，这种信息可以由图像捕获设备作为单独的数据结构或信号提供；或者，可以提供这样的附加信息作为包括捕获图像和附加信息的单个数据结构的一部分。每个对象表面法线可以指示对象表面在与对象表面法线相关联的对象表面上的位置，特别是点处的方向，即，表面法线可以指示从在与所述点中的切向平面垂直的方向上的表面的点向外指向的矢量。表面法线信息可以包括多个法线贴图，每个法线贴图可以定义2D阵列，其中阵列的每个元素表示表面法线。在一些实施例中，一些或所有捕获图像具有与其相关联的对应法线贴图。特别地，与捕获图像相关联的法线贴图可以表示与捕获图像的各个像素或像素组相关联的表面法线。法线贴图的创建可以由图像捕获设备或由处理设备执行，例如，作为重建流水线之前的预处理步骤。为此，可以使用各种用于本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，用于创建物理对象的至少对象表面的数字表示；其中，该方法包括：‑获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示与对象表面的各个部分相关联的对象表面法线；‑创建至少对象表面的数字3D表示；其中，创建对象表面的数字表示至少基于所获得的多个捕获图像和所获得的表面法线信息，并且包括：‑获得对象表面的中间表示，中间表示包括表示对象表面的第一部分的第一部分；‑修改中间表示的第一部分以获得修改的表示；其中修改中间表示的第一部分包括：‑确定对象表面的第一部分附近的对象表面的第二部分；‑从所获得的表面法线信息确定与所确定的第二部分相关联的一个或多个对象表面法线；‑至少部分地基于所确定的一个或多个对象表面法线来修改中间表示的第一部分。

【技术特征摘要】
【国外来华专利技术】2016.11.22 DK PA2016709281.一种计算机实现的方法，用于创建物理对象的至少对象表面的数字表示；其中，该方法包括：-获得输入数据，输入数据包括物理对象的多个捕获图像和对象的表面法线信息，表面法线信息表示与对象表面的各个部分相关联的对象表面法线；-创建至少对象表面的数字3D表示；其中，创建对象表面的数字表示至少基于所获得的多个捕获图像和所获得的表面法线信息，并且包括：-获得对象表面的中间表示，中间表示包括表示对象表面的第一部分的第一部分；-修改中间表示的第一部分以获得修改的表示；其中修改中间表示的第一部分包括：-确定对象表面的第一部分附近的对象表面的第二部分；-从所获得的表面法线信息确定与所确定的第二部分相关联的一个或多个对象表面法线；-至少部分地基于所确定的一个或多个对象表面法线来修改中间表示的第一部分。2.根据权利要求1所述的方法；其中，所述多个捕获图像包括从相对于物理对象的相应视点捕获的图像，优选地多于两个图像。3.根据前述权利要求中任一项所述的方法；其中每个对象表面法线指示对象表面在与对象表面法线相关联的对象表面上的位置处的方向。4.根据前述权利要求中任一项所述的方法；其中，中间表示包括深度图，该深度图表示从参考位置到对象表面上的各个位置的距离。5.根据权利要求4所述的方法；其中，获得中间表示包括从多个图像创建深度图。6.根据权利要求4或5所述的方法；其中对象表面的第一部分包括深度图中的孔，并且其中修改中间表示的第一部分包括填充孔。7.根据权利要求6所述的方法；其中确定对象表面的第二部分包括将孔识别为待填充的孔并确定所识别的孔的周边。8.根据权利要求7所述的方法；其中，将孔识别为待填充的孔包括：-识别深度图中的孔；和-基于所获得的表面法线信息，确定所识别的孔是否是要填充的孔。9.根据权利要求8所述的方法；其中，确定所识别的孔是否是要填充的孔包括：-确定与所确定的孔的周边相关联的第一组对象表面法线；-计算所确定的第一组表面法线的第一相似性度量；和-将计算的第一相似性度量与第一目标相似性值进行比较。10.根据权利要求8或9所述的方法；其中，确定所识别的孔是否是要填充的孔包括：-确定与所识别的孔相关联的第二组对象表面法线；-计算所确定的第二组对象表面法线的第二相似性度量；和-将计算的第二相似性度量与第二目标相似性值进行比较。11.根据前述权利要求中任一项所述的方法；包括用于增加中间表示和捕获的输入数据和/或从所述表面法线信息导出的法线贴图之间的照片一致性度量的优化步骤。12.一种用于创建物理对象的至少对象表面的数字表示的方法；其中，该方法包括：-获得输入数据...

【专利技术属性】
技术研发人员：R托尔多，S凡托尼，J博卢姆，F加拉托尼，
申请(专利权)人：乐高公司，
类型：发明
国别省市：丹麦,DK