用于生成具有减少的失真的物体的三维重建的方法及设备技术

本发明专利技术描述了用于生成具有减少失真的物体的三维重建的方法、系统和计算机可读介质。在一些方面，系统包括至少两个图像传感器、至少两个投射器和一个处理器。每个图像传感器用于捕获物体的一个或多个图像。每个投射器用于使用相关光学图案且从不同角度照亮物体。处理器用于执行以下动作：从每个图像传感器，针对每个投射器接收使用相关光学图案照亮的物体的图像，并根据接收到的图像生成物体的三维重建。由于在每个投射器从不同的角度用相关光学图案照亮物体时生成物体的接收到的图像，所以三维重建的失真减少。

Method and equipment for 3D reconstruction of objects with reduced distortion

【技术实现步骤摘要】
用于生成具有减少的失真的物体的三维重建的方法及设备
本文所述的技术通常涉及从物体的二维图像进行三维(3D)重建，特别是涉及用于生成具有减少的失真的物体的三维重建。
技术介绍
先进机器视觉系统及其基础软件的使用越来越多地应用于各种制造和质量控制过程中。机器视觉能够在批量生产产品和定制产品的生产中获得更快、更准确和可重复的结果。典型的机器视觉系统包括一个或多个指向感兴趣区域的摄像头、捕获和传输图像的帧抓取器/图像处理元件、计算机或车载处理装置以及用于运行机器视觉软件应用程序和操控所捕获图像以及感兴趣区域的适当照明的用户界面。3D视觉系统的一种形式是基于立体摄像机，所述立体摄像机采用至少两个并排排列的摄像头，且摄像头之间的基线为一到几英寸。基于立体视觉的系统一般是基于极线几何和图像校正的。这些系统可以使用基于相关性的方法，或者结合松弛技术，从两个或多个摄像头的校正图像中找到对应关系。然而，具有低表面粗糙度和高镜面反射的物体的图像可能导致所捕获图像的过饱和。传统的立体视觉系统在根据此类所捕获图像创建物体的准确三维重建方面的能力有限。
技术实现思路
根据所公开的主题，提供用于生成具有减小失真的物体的三维重建的设备、系统和方法。在一些方面，可以提供一种用于生成具有减小失真的物体的三维重建的系统、方法和/或计算机可读存储介质。所述系统可包括至少两个图像传感器。每个图像传感器可用于捕获物体的一个或多个图像。所述系统可包括至少两个投射器(projector)，所述投射器用于用相关光学图案照亮物体。每个投射器可以从不同角度照亮物体。所述系统可包括处理器，所述处理器被配置成执行以下动作：从至少两个图像传感器的每一个，为至少两个投射器中的每一个投射器接收用相关光学图案照亮的物体的图像。所述处理器可用于执行从接收到的图像生成物体的三维重建的动作。由于在至少两个投射器中的每一个从不同的角度用相关光学图案照亮物体时生成物体的接收到的图像，所以三维重建的失真可减少。在一些实施例中，所述至少两个投射器中的一个或多个可能不与至少两个图像传感器的操作同步。在一些实施例中，所述至少两个图像传感器可以在时间上同步，以同时捕获物体的图像。在一些实施例中，所述至少两个图像传感器是多个图像传感器的至少一个子集的一部分，并且所述至少两个图像传感器在时间上同步，以同时捕获物体的多个图像。在一些实施例中，所述至少两个图像传感器可包括：第一图像传感器和第二图像传感器，其彼此在时间上同步以在第一时间捕获物体的一个或多个图像；以及第三图像传感器和第四图像传感器，其彼此在时间上同步以在与第一时间不同的第二时间捕获所述物体的一个或多个图像。在一些实施例中，所述至少两个图像传感器可包括第一图像传感器、第二图像传感器和第三图像传感器，其在时间上同步以同时捕获物体的一个或多个图像。在一些实施例中，所述至少两个投射器可包括第一投射器和第二投射器。所述处理器可用于执行以下动作：在第一时间从第一图像传感器接收物体的第一组图像，所述物体使用来自第一投射器的光学图案照亮。所述处理器可用于执行以下动作：在第一时间从第二图像传感器接收物体的第二组图像，所述物体使用来自第一投射器的光学图案照亮。所述处理器可用于执行以下动作：在第二时间从第一图像传感器接收物体的第三组图像，所述物体使用来自第二投射器的光学图案照亮。所述处理器可用于执行以下动作：在第二时间从第二图像传感器接收物体的第四组图像，所述物体使用来自第二投射器的光学图案照亮。在一些实施例中，所述至少两个投射器的不同角度可以包括第一角度和第二角度，并且第一角度和第二角度的角间距(angularseparation)可以大于物体表面的反射锥的半角。在一些实施例中，所述光学图案可以包括移动的光学图案。在一些实施例中，所述移动的光学图案可以包括沿圆形路径平移的光学图案。在一些实施例中，所述至少两个图像传感器可以包括三个或多个图像传感器。第一图像传感器子集包括所述三个或多个图像传感器中的两个或多个，其可以彼此在时间上同步。第二图像传感器子集包括所述三个或多个图像传感器中的不在所述第一图像传感器子集中的一个或多个，其可以彼此在时间上同步，但不与所述第一图像传感器子集中的图像传感器在时间上同步。在一些实施例中，生成物体的三维重建可以包括：在生成过程中识别失真，并使用在所述至少两个投射器中的每一个以不同角度使用其相关光学图案照亮物体时生成的所述物体的图像修改失真。在一些实施例中，识别失真可以包括识别不同角度的第一角度的一个或多个图像中的失真。修改失真可以包括基于不同角度的第二角度的一个或多个图像修改失真。在一些实施例中，生成所述物体的三维重建包括从获得的图像中选择一个或多个具有高置信值的图像点，并基于所选的图像点生成物体的三维重建。所述置信值可基于过饱和值、与一个或多个其他图像点的相关性评分和/或调制度值来确定。在一些实施例中，所述处理器可用于执行以下动作：在捕获图像之前，为至少两个投射器中的第一投射器生成用相关光学图案照亮物体的第一指令。所述处理器可用于执行以下动作：在接收到图像之后，为至少两个投射器中的第一投射器生成停止用相关光学图案照亮物体的第二指令。在一些实施例中，所述至少两个图像传感器中的至少一个包括适用于投射器以阻挡所述至少两个投射器的光谱范围之外的环境光的光谱滤器。在一些实施例中，所述光谱滤器支持多个光谱带，以支持在不同波长下操作的所述至少两个投射器。在一些方面，可提供一种用于生成具有减小失真的物体的三维重建的系统、方法和/或计算机可读存储介质。所述系统可包括至少三个图像传感器。每个图像传感器可用于从不同角度捕获物体的一个或多个图像。所述系统可包括投射器，所述投射器用于用光学图案照亮物体。所述投射器可以不与所述至少三个图像传感器的操作同步。所述系统可包括处理器，所述处理器用于执行以下动作：从所述至少三个图像传感器中的每一个接收物体的一个或多个图像，所述物体使用来自投射器的光学图案照亮。所述处理器可用于执行以下动作：根据接收到的一个或多个图像生成物体的三维重建。由于通过至少三个图像传感器中的每一个从不同角度生成用光学图案照亮的物体的所述接收到的一个或多个图像，所以所述三维重建的失真可减少。在一些实施例中，所述至少三个图像传感器可以在时间上同步，以同时捕获物体的一个或多个图像。在一些实施例中，所述至少三个图像传感器是多个图像传感器的至少一个子集的一部分，并且所述至少三个图像传感器在时间上同步，以同时捕获物体的多个图像。因此，相当广泛地概述了所公开主题的特征，以便可以更好地理解下文对其进行的详细描述，并可以更好地了解对于本领域的现有贡献。当然，所公开的主题还有一些附加特征，这些特征将在下文中加以描述，并将构成所附权利要求书的主题。应理解，本文中采用的措辞和术语是为了描述，不应被视为限制性的。附图说明在附图中，在各图中所示的每个相同或几乎相同的组件都由一个类似元件符号表示本文档来自技高网...

【技术保护点】
1.一种用于生成具有减少的失真的物体的三维重建的系统，包括：/n至少两个图像传感器，每个图像传感器配置为捕获物体的一个或多个图像；/n至少两个投射器，所述至少两个投射器配置为使用相关光学图案照亮所述物体，每个投射器从不同角度照亮所述物体；以及/n处理器，所述处理器配置为执行以下动作：/n从所述至少两个图像传感器中的每一个图像传感器中，为至少两个投射器中的每一个投射器接收使用相关光学图案照亮的所述物体的多个图像，以及/n从接收的多个图像中生成物体的三维重建，其中，由于所述至少两个投射器中的每一个从不同角度使用相关光学图案照亮所述物体时，所接收的多个图像被生成，使得所述三维重建具有减少的失真。/n

【技术特征摘要】
20180830 US 62/725,0821.一种用于生成具有减少的失真的物体的三维重建的系统，包括：
至少两个图像传感器，每个图像传感器配置为捕获物体的一个或多个图像；
至少两个投射器，所述至少两个投射器配置为使用相关光学图案照亮所述物体，每个投射器从不同角度照亮所述物体；以及
处理器，所述处理器配置为执行以下动作：
从所述至少两个图像传感器中的每一个图像传感器中，为至少两个投射器中的每一个投射器接收使用相关光学图案照亮的所述物体的多个图像，以及
从接收的多个图像中生成物体的三维重建，其中，由于所述至少两个投射器中的每一个从不同角度使用相关光学图案照亮所述物体时，所接收的多个图像被生成，使得所述三维重建具有减少的失真。


2.根据权利要求1所述的系统，其中所述至少两个投射器中的一个或多个与所述至少两个图像传感器的操作不同步。


3.根据权利要求1所述的系统，其中所述至少两个图像传感器在时间上同步，以同时捕获所述物体的多个图像。


4.根据权利要求1所述的系统，其中所述至少两个图像传感器是多个图像传感器的至少一个子集的一部分，并且其中所述至少两个图像传感器在时间上同步，以同时捕获所述物体的多个图像。


5.根据权利要求1所述的系统，其中所述至少两个图像传感器包括：
第一图像传感器和第二图像传感器，其彼此在时间上同步，以在第一时间捕获所述物体的一个或多个图像；以及
第三图像传感器和第四图像传感器，其彼此在时间上同步，以在不同于第一时间的第二时间捕获所述物体的一个或多个图像。


6.根据权利要求1所述的系统，其中所述至少两个图像传感器包括在时间上同步的第一图像传感器、第二图像传感器和第三图像传感器，以同时捕获所述物体的一个或多个图像。


7.根据权利要求1所述的系统，其中：
所述至少两个投射器包括第一投射器和第二投射器；以及
所述处理器被配置为执行以下动作：
在第一时间接收来自第一图像传感器的所述物体的第一组图像，所述物体由所述第一投射器使用光学图案照亮；
在第一时间接收来自第二图像传感器的所述物体的第二组图像，所述物体由所述第一投射器使用光学图案照亮；
在第二时间接收来自第一图像传感器的所述物体的第三组图像，所述物体由第二投射器使用光学图案照亮；以及
在第二时间接收来自第二图像传感器的所述物体的第四组图像，所述物体由第二投射器使用光学图案照亮。


8.根据权利要求1所述的系统，其中所述至少两个投射器的不同角度包括第一角度和第二角度，并且第一角度和第二角度的角间距大于所述物体的表面的反射锥的半角。


9.根据权利要求1所述的系统，其中所述光学图案包括移动光学图案。


10.根据权利要求9所述的系统，其中所述移动光学图案包括沿圆形路径平移的光学图案。


11.根据权利要求1所述的系统，其中：
所述至少两个图像传感器包括三个或多个图像传感器，
其中图像传感器的第一子集包括三个或多个图像传感器中的两个或多个，所述第一子集中的图像传感器彼此在时间上同步，并且
其中图像传感器的第二子集包括三个或多个图像传感器中不在图像传感器的第一子集中的一个或多个，所述第二子集中的图像传感器彼此在时间上同步，但与所述图像传感器的第一子集中的图像传感器时间不同步。


12.根据权利要求1所述的系统，其中生成所述物体的三维重建包括：
在所述生成过程中识别失真；以及
使用所述至少两个投射器中的每一个以不同角度通过其相关光学图案照亮所述物体时生成的物体的多个图像，来修改失真。


13.根据权利要求12所述的系统，其中：
识别失真包括识别不同角度的第一角度的一个或多个图像中的失真；以及
修改失真包括基于不同角度的第二角度的一个或多个图像修改失真。


14.根据权利要求1所述的系统，其中生成物体的三维重建包括：
从接收到的多个图像中选择具有高置信值的一个或多个图像点，其中置信值基于过饱和值、与一个或多个其他图像点的相关性评分和/或调制度值来确定；以及
基于所述选择的图像点生成所述物体的三维重建。


15.根据权利...

【专利技术属性】
技术研发人员：M·谢弗，M·格罗斯，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US