对物体三维重建初始对应分配有效数据处理的方法和设备技术

本申请描述的技术涉及对例如物体的三维重建的初始对应分配的数据进行有效处理的方法、装置和计算机可读介质。在一些方面，该系统包括处理器，该处理器被配置为执行以下动作：接收场景的第一组图像和第二组图像；基于第一组图像确定第一像素指纹和基于第二组图像确定第二像素指纹；基于第一像素指纹生成第一二进制像素指纹，基于第二像素指纹生成第二二进制像素指纹；以及至少部分地基于第一二进制像素指纹和第二二进制像素指纹的比较，确定第一像素指纹与第二像素指纹之间是否存在立体对应关系。

Effective data processing method and equipment for initial correspondence assignment of 3D object reconstruction

【技术实现步骤摘要】
对物体三维重建初始对应分配有效数据处理的方法和设备
本文描述的技术一般涉及对物体或场景的二维图像进行三维(3D)重建，尤其涉及对二维图像对之间的初始对应分配数据进行有效处理的技术。
技术介绍
越来越多的先进机器视觉系统及其底层软件被用于各种制造和质量控制过程。机器视觉允许在批量生产和定制产品的生产中获得更快、更准确以及可重复的结果。典型的机器视觉系统包括一个或多个相机，其指向感兴趣区域；照明源，其用于引导感兴趣区域上的适当照明；帧抓取器/图像处理元件，其用于捕获和发送图像；计算机或机载处理设备，其用于运行机器视觉软件应用程序和操纵所捕获的图像；以及用于交互的用户界面。一种3D视觉系统，其基于立体相机，该立体相机采用至少两个以并排关系布置的相机，且两个相机之间的基线为一英寸至数英寸。基于立体视觉的系统通常基于对极几何和图像校正。他们可以使用基于相关的方法或与放松技术(relaxationtechnique)结合来找到来自两个或更多个相机的校正图像中的对应关系。然而，由于所需的计算工作，传统的立体视觉系统在对物体和/或场景的准确且快速的三维数据重建的创建能力方面受到限制。
技术实现思路
根据所公开的主题，提供了用于有效地处理(例如，从二维图像对中对物体或场景进行三维重建的)二维图像对之间的初始对应分配数据的装置、系统和方法。专利技术人已经认识到，虽然传统系统可以将某种归一化(normalized)的互相关应用于二维图像对以确定立体对应关系，但是这些系统通常必须花费大量的计算工作来执行必要的计算(例如，由于需要处理的像素值的数量、那些像素值的大小等)。专利技术人已经开发了如本文将进一步讨论的技术，其通过有效地处理二维图像对(特别是对于立体时间图像序列对)的初始对应分配来改进三维数据重建技术。立体时间图像序列包括随时间自不同视角捕获的物体或场景的图像集合。专利技术人注意到所描述的系统和方法在为立体时间图像序列中的每个像素指纹导出二进制像素指纹时特别新颖。在一些方面，所描述的系统和方法提供用于在两个图像之间建立立体对应关系的系统。该系统可以包括两个或更多个相机(或传感器)，其布置成以一致的方式捕获场景的图像，例如，通过将两个或更多个相机设置为以不同的视角捕获场景，以产生立体图像对应关系。可选地，该系统可以包括一个或多个相机(或传感器)，其具有一个或多个逆相机(inversecamera)(或投射器(projector))，其布置成以一致的方式捕获场景的图像以产生成对的立体图像对应关系。可以使用一个或多个投射器在场景上投射一系列光图案，并且可以从每个相机捕获一组图像。从每个相机捕获的图像集可以被称为时间图像。该组图像中的每个图像可以对应于一系列投射光图案中的其中一个。随后，可以为每个相机确定时间图像和二进制时间图像。时间图像中位置(i,j)处的像素指纹可包括在位置(i,j)处和/或从每个相机捕获的图像集合相对于位置(i,j)在空间和/或时间中的不同位置处收集的有序像素值集合。在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括在位置(i,j)处收集的有序像素值集合。附加地或可选地，在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括从每个相机捕获的图像集合相对于位置(i,j)在空间中的不同位置处收集的有序像素值集合。附加地或可选地，在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括从每个相机捕获的图像集合相对于位置(i,j)在时间中的不同时间处收集的有序像素值集合。附加地或可选地，在一些实施例中，时间图像中位置(i,j)处的像素指纹可包括从每个相机捕获的图像集合相对于位置(i,j)在空间和时间中的不同位置处收集的有序像素值集合。通过基于一个或多个阈值，将位置(i,j)处的像素指纹中的每个设置值与一个或多个阈值进行比较并且将设置值替换为0或者1来确定二进制时间图像中位置(i,j)处的二进制像素指纹。可选地，可以在与一个或多个阈值进行比较之前对像素指纹中的设置值进行归一化，以生成相应的二进制像素指纹。(例如，沿着核线的)搜索可以用于确定来自每个相机的二进制像素指纹之间的对应关系。可以从每个相机的二进制时间图像执行对(例如，在核线上或其附近的)像素之间的一个或多个二进制的比较，并且可以基于那些比较的结果来确定像素对应关系。在一些方面，可以提供用于确定第一组图像的第一像素指纹与第二组图像的第二像素指纹之间的立体对应关系的系统、方法和/或计算机可读存储介质。该系统可以包括处理器，该处理器配置成执行以下动作：从一个或多个图像传感器接收场景的第一组图像和场景的第二组图像，其中第二组图像的捕获视角可以不同于第一组图像。处理器可以配置成执行基于第一组图像确定第一像素指纹的动作。第一像素指纹可以包括随时间的第一组图像中的每个图像在第一像素位置处的第一组像素值。处理器可以配置成执行基于第二组图像确定第二像素指纹的动作。第二像素指纹可以包括随时间的第二组图像中的每个图像在第二像素位置处的第二组像素值。处理器可以配置成执行基于第一像素指纹生成第一二进制像素指纹的动作。第一二进制像素指纹可以包括通过将第一组像素值中的每一个像素值与阈值进行比较而生成的第一组二进制值。处理器可以配置成执行基于第二像素指纹生成第二二进制像素指纹的动作。第二二进制像素指纹可以包括通过将第二组像素值中的每一个像素值与阈值进行比较而生成的第二组二进制值。处理器可以配置成至少部分地基于第一二进制像素指纹和第二二进制像素指纹的比较，来执行确定第一组图像的第一像素指纹与第二组图像的第二像素指纹之间是否存在立体对应关系的动作。在一些实施例中，从逆相机/投射器接收场景的第一组图像和/或第二组图像投射器。在一些实施例中，该系统可以包括投射器，该投射器配置成在场景上投射光图案组。第一组图像中的每个图像可以使用来自该光图案组中的不同光图案来捕获。在一些实施例中，该组光图案可包括固定图案，该固定图案被平移、旋转和/或变形以在场景上投射不同的光图案。在一些实施例中，第一像素指纹可以包括第一组像素值，其作为对应于第一组图像的时间顺序的有序集合，并且第二像素指纹可以包括第二组像素值，其作为对应于第二组图像的时间顺序的有序集合。在一些实施例中，生成第一组二进制值可以包括：对于第一组像素值中的每个像素值，如果像素值高于阈值则分配0，或者是如果像素值不高于阈值则分配1。在一些实施例中，比较第一二进制像素指纹和第二二进制像素指纹可以包括比较第一和第二二进制像素指纹中的对应二进制值。在一些实施例中，处理器可以配置成执行归一化第一像素指纹的动作。归一化第一像素指纹可以包括在第一组图像中的每个图像中的第一像素位置处归一化第一组像素值，以创建包括第一组归一化像素值的第一归一化像素指纹。处理器可以配置成执行归一化第二像素指纹的动作。归一化第二像素指纹可以包括在第二组图像中的每个图像中的第二像素位置处归一化第二组像素值，以创建包括第二组归一化像素值的第二归一化像素指纹。生成第一二进制像素指纹可以包括基于第本文档来自技高网...

【技术保护点】
1.一种系统，用于确定第一组图像的第一像素指纹与第二组图像的第二像素指纹之间的立体对应关系，所述系统包括：/n处理器，配置为执行以下动作：/n从一个或多个图像传感器接收场景的第一组图像和场景的第二组图像，其中捕获所述第二组图像的视角与所述第一组图像的不同；/n基于所述第一组图像确定第一像素指纹，其中所述第一像素指纹包括随时间的所述第一组图像中的每个图像中第一像素位置处的第一组像素值；/n基于所述第二组图像确定第二像素指纹，其中所述第二像素指纹包括随时间的所述第二组图像中的每个图像中第二像素位置处的第二组像素值；/n基于所述第一像素指纹生成第一二进制像素指纹，其中所述第一二进制像素指纹包括通过将所述第一组像素值中的每一个像素值与阈值进行比较而生成的第一组二进制值；/n基于所述第二像素指纹生成第二二进制像素指纹，其中所述第二二进制像素指纹包括通过将所述第二组像素值中的每一个像素值与阈值进行比较而生成的第二组二进制值；以及/n至少部分地基于比较所述第一二进制像素指纹和所述第二二进制像素指纹，确定所述第一组图像的第一像素指纹与所述第二组图像的第二像素指纹之间是否存在立体对应关系。/n

【技术特征摘要】
20180907 US 62/728,5051.一种系统，用于确定第一组图像的第一像素指纹与第二组图像的第二像素指纹之间的立体对应关系，所述系统包括：
处理器，配置为执行以下动作：
从一个或多个图像传感器接收场景的第一组图像和场景的第二组图像，其中捕获所述第二组图像的视角与所述第一组图像的不同；
基于所述第一组图像确定第一像素指纹，其中所述第一像素指纹包括随时间的所述第一组图像中的每个图像中第一像素位置处的第一组像素值；
基于所述第二组图像确定第二像素指纹，其中所述第二像素指纹包括随时间的所述第二组图像中的每个图像中第二像素位置处的第二组像素值；
基于所述第一像素指纹生成第一二进制像素指纹，其中所述第一二进制像素指纹包括通过将所述第一组像素值中的每一个像素值与阈值进行比较而生成的第一组二进制值；
基于所述第二像素指纹生成第二二进制像素指纹，其中所述第二二进制像素指纹包括通过将所述第二组像素值中的每一个像素值与阈值进行比较而生成的第二组二进制值；以及
至少部分地基于比较所述第一二进制像素指纹和所述第二二进制像素指纹，确定所述第一组图像的第一像素指纹与所述第二组图像的第二像素指纹之间是否存在立体对应关系。


2.根据权利要求1所述的系统，其中，从逆相机/投射器接收所述场景的第一组图像和/或第二组图像投射器。


3.根据权利要求1所述的系统，还包括：投射器，所述投射器配置成在场景上投射光图案组，并且其中，使用来自所述光图案组中的不同光图案来捕获所述第一组图像中的每个图像。


4.根据权利要求3所述的系统，其中所述光图案组包括固定图案，所述固定图案被平移、旋转和/或变形以在所述场景上投射不同的光图案。


5.根据权利要求1所述的系统，其中：
所述第一像素指纹包括所述第一组像素值，所述第一组像素值作为与所述第一组图像的时间顺序对应的有序集合；以及
所述第二像素指纹包括所述第二组像素值，所述第二组像素值作为与所述第二组图像的时间顺序对应的有序集合。


6.根据权利要求1所述的系统，其中生成第一组二进制值包括：
对于所述第一组像素值中的每个像素值，如果像素值高于阈值分配0，或者如果像素值不高于阈值分配1。


7.根据权利要求1所述的系统，其中，比较所述第一二进制像素指纹和所述第二二进制像素指纹包括比较所述第一二进制像素指纹和所述第二二进制像素指纹中的对应二进制值。


8.根据权利要求1所述的系统，其中，所述处理器配置为执行以下动作：
归一化所述第一像素指纹，其中归一化所述第一像素指纹包括在所述第一组图像中的每个图像的第一像素位置处归一化所述第一组像素值，以创建包括第一组归一化像素值的第一归一化像素指纹；
归一化所述第二像素指纹，其中归一化所述第二像素指纹包括在所述第二组图像中的每个图像中的第二像素位置处归一化所述第二组像素值，以创建包括第二组归一化像素值的第二归一化像素指纹；以及
其中：
生成所述第一二进制像素指纹包括基于所述第一归一化像素指纹生成所述第一二进制像素指纹；以及
生成所述第二二进制像素指纹包括基于所述第二归一化像素指纹生成所述第二二进制像素指纹。


9.根据权利要求8所述的系统，其中，所述处理器配置为执行以下动作：
基于所述第一归一化像素指纹，生成第三二进制像素指纹，其中，所述第三二进制像素指纹包括通过将第一组归一化像素值中的每一个像素值的绝对值与置信度阈值进行比较而生成的第三组二进制值；以及
基于所述第二归一化像素指纹，生成第四二进制像素指纹，其中，所述第四二进制像素指纹包括通过将第二组归一化像素值中的每一个像素值的绝对值与置信度阈值进行比较而生成的第四组二进制值。


10.根据权利要求9所述的系统，其中，比较所述第一二进制像素指纹和所述第二二进制像素指纹包括比较：
第一、第三和第四二进制像素指纹中对应的二进制值的OR值；以及
第二、第三和第四二进制像素指纹中对应的二进制值的OR值。


11.根据权利要求1所述的系统，其中，比较所述第一二进制像素指纹和所述第二二进制像素指纹包括确定所述第一二进制像素指纹和所述第二二进制像素指纹中对应的二进制值是否在阈值汉明距离内。


12.根据权利要求1所述的系统，其中，在确定所述第一组图像中的第一像素指纹之前，处理器配置为将图像滤波器应用于第一组图像中的每个图像。


13.根据权利要求1所述的系统，其中，确定所述第一组...

【专利技术属性】
技术研发人员：M·格罗斯，M·谢弗，S·威勒克，B·哈伦特，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国;US