用于立体瞬时图像序列的改善3D数据重构的系统和方法技术方案

在一些方面，本文所描述的技术涉及用于立体瞬时图像序列的数据预处理以改善三维数据重构的系统、方法和计算机可读介质。在一些方面，本文所描述的技术涉及用于受过饱和度影响的图像区域的改善对应性精化的系统、方法和计算机可读介质。在一些方面，本文所描述的技术涉及配置成填补缺失对应性以改善三维(3D)重构的系统、方法和计算机可读介质。所述技术包括识别无对应性的图像点，利用现有对应性和/或其它信息来生成近似对应性，和交叉检查所述近似对应性以确定所述近似对应性是否应使用于图像处理。

【技术实现步骤摘要】
用于立体瞬时图像序列的改善3D数据重构的系统和方法相关申请的交叉引用本申请根据35U.S.C.§119(e)要求以下权益：2018年4月23日提交的序列号为62/661,540、代理人案卷号为C1524.70018US00并且标题为“用于对立体瞬时图像序列进行数据预处理以改善3D数据重构的方法和设备(METHODSANDAPPARATUSFORDATAPRE-PROCESSINGFORSTEREO-TEMPORALIMAGESEQUENCESTOIMPROVE3-DDATARECONSTRUCTION)”的美国临时专利申请；2018年4月23日提交的序列号为62/661,545、代理人案卷号为C1524.70019US00并且标题为“用于对应性精化的方法和设备(METHODSANDAPPARATUSFORCORRESPONDENCEREFINEMENT)”的美国临时专利申请；和2018年4月23日提交的序列号为62/661,549、代理人案卷号为C1524.70020US00并且标题为“用于填补三维重构的缺失对应性的方法和设备(METHODSANDAPPARATUSFORFILLINGMISSINGCORRESPONDENCEFORTHREE-DIMENSIONALRECONSTRUCTION)”的美国临时专利申请，这些临时专利申请的每一者全文据此以引用方式并入本文。
本文所描述的技术整体涉及二维图像的三维(3D)重构。
技术介绍
先进机器视觉系统和其基础软件的用途越来越多地应用于各种制造和质量控制过程。机器视觉使得更快速、更准确和可重复结果在批量生产和定制产品两者的生产中得以获得。典型机器视觉系统包括指向感兴趣区域的一个或多个相机、帧抓取器/图像处理元件(其捕获并传输图像)、计算机或机载处理装置，和用户界面(其用于运行机器视觉软件应用程序并且操纵所捕获图像，以及关于感兴趣区域的适当照明)。3D视觉系统的一种形式基于采用至少两个相机的立体相机，该至少两个相机以它们之间的一至数英寸的基线以并列关系进行布置。基于立体视觉的系统一般基于极线几何和图像矫正。它们可利用基于关联的方法或与驰豫技术组合，以在得自两个或更多个相机的矫正图像中找出对应性。然而，常规立体视觉系统在其创建对象的精确三维数据重构的能力方面受限。
技术实现思路
在一些方面，系统、方法和计算机可读介质提供用于立体瞬时图像序列的数据预处理以改善三维数据重构。专利技术者已认识到，尽管常规系统已知将降噪应用于二维图像，但是这些系统均不能够将独立图像点式降噪用于瞬时图像序列。专利技术者注意到，所描述系统和方法在基于瞬时信息而推导局部降噪标准和降噪强度方面为特别新颖的。专利技术者已开发出技术，如本文所进一步讨论，这些技术通过预处理立体瞬时图像序列的数据而改善三维数据重构。在一些实施例中，所描述系统和方法提供一种系统以用于建立两个图像之间的立体对应性。该系统可包括两个或更多个相机，这些相机配置成以与产生立体图像对应性一致的方式捕获场景的图像。另选地，该系统可包括一个或多个相机，其中一个或多个反相相机(或投影仪)配置成以与产生成对式立体图像对应性一致的方式捕获场景的图像。一系列的光图案(lightpattern)可投影于场景上。该系列的光图案可通过一个或多个投影仪来创建。一组图像可从每个相机来捕获。每次图像捕获可对应于该系列的所投影光图案中的一者。瞬时像素图像(其包括从相机或传感器所捕获的有序图像组)和修改瞬时像素图像可对于每个相机而确定。极线搜索可用于确定每个传感器的修改瞬时像素之间的对应性。瞬时像素图像中的位置x、y处的瞬时像素包括从每个传感器所捕获的图像组的位置x、y处所采集的有序像素值组。修改瞬时像素图像的位置x、y处的修改瞬时像素通过以下方式来确定：将位置x、y处的瞬时像素的每个设定值与一个或多个阈值相比较，并且基于一个或多个阈值而以基于瞬时像素设定值和/或空间上邻近瞬时像素设定值的另一值取代该设定值。对应性可仅利用修改瞬时图像或利用修改瞬时和正常瞬时图像进行搜索。在一些方面，系统、方法和计算机可读介质提供用于受成像伪像(诸如，过饱和度)影响的图像区域的改善对应性精化。专利技术者已认识到，常规系统不采用灰度值(例如，连续)瞬时照射序列，并且尝试采取信息(例如，掩码)的子组来改善过饱和图像点的对应性质量。例如，在相移方案中，难以采用此类方式，因为相位值计算可需要依次瞬时值之间的相位固定步骤。因此，掩蔽某些瞬时例子可使相位值计算中断或可需要在点每点基础上适应所选相位函数。专利技术者已开发出技术，如本文所进一步讨论，这些技术通过改善受过饱和度影响的图像区域的对应性精化而提供更佳3D数据重构。在一些方面，系统、方法和计算机可读介质提供用于补全3D重构的缺失对应性。专利技术者已认识到，常规系统不可确定一个或多个图像点的对应性。专利技术者已开发出技术，这些技术可充分利用其它对应性和/或数据以确定一个或多个图像点的近似对应性。这些技术通过交叉检查近似对应性而增加稳健性。例如，交叉检查可用于确保近似对应性接受为有效的，其中系统可确定对应性利用其它对应性搜索未找出的(多个)原因(例如，由于过饱和度、低调制、对象纹理、场景间反射等，其可引起对应性搜索不能够确定初始对应性)。作为另一个实例，通过选择特异性或多特异性交叉检查，这些技术可配置成验证对于特定场景有意义的近似对应性。在一些实施例中，所描述系统和方法提供一种系统，以用于建立两个图像之间的立体对应性。该系统可包括两个或更多个相机，这些相机配置成以与产生立体图像对应性一致的方式捕获场景的图像。另选地，该系统可包括一个或多个相机，其中一个或多个反相相机(或投影仪)配置成以与产生成对式立体图像对应性一致的方式捕获场景的图像。一系列的光图案可投影于场景上。该系列的光图案可通过一个或多个投影仪来创建。一组图像可从每个相机来捕获。每次图像捕获可对应于该系列的所投影光图案中的一者。对应性可对于由每个相机所捕获的图像组中的图像点进行搜索。近似对应性可对于无对应性的图像点进行计算。近似对应性的每一者可进行交叉检查，以确定是否将近似对应性存储为有效对应性。在一些方面，系统、方法和计算机可读介质提供用于对瞬时像素图像进行预处理。该系统可包括与存储器通信的处理器，该处理器配置成执行存储器所存储的指令，该指令引起处理器：获得场景的一组图像，其中图像组中的每个图像(a)捕获投影至场景上的光图案的一部分和(b)为场景的透视图；基于图像组而生成包括一组瞬时像素的第一瞬时像素图像，其中瞬时像素组中的每个瞬时像素包括与图像组的每个图像相关联的位置处的一组像素值；和基于第一瞬时像素图像而生成第一修改瞬时像素图像，包括从瞬时像素组修改第一瞬时像素，包括：将第一瞬时像素与度量相比较；和基于比较结果，以基于第一瞬时像素和/或空间上邻近第一瞬时像素的一个或多个瞬时像素而确定的另一值取代第一瞬时像素的一个或多个像素值。在一些方面，系统、方法和计算机可读介质提供用于确定瞬时像素图像的饱和度数据。该系统可包括与存储器通信的处理器，该处理器配置成执行存储器所存储的指令，该指令引起处理器：获得场景的一组图像，其中图像组中的每个图像(a)捕获投影至场景上的光图案的一部分和(b)为场景的透视本文档来自技高网...

【技术保护点】
1.一种用于预处理瞬时像素图像的系统，所述系统包括与存储器通信的处理器，所述处理器配置成执行存储器所存储的指令，所述指令引起所述处理器：获得场景的一组图像，其中所述图像组中的每个图像(a)捕获投影至所述场景上的光图案的一部分和(b)为所述场景的透视图；基于所述图像组而生成包括一组瞬时像素的第一瞬时像素图像，其中所述瞬时像素组中的每个瞬时像素包括与所述图像组的每个图像相关联的位置处的一组像素值；和基于所述第一瞬时像素图像而生成第一修改瞬时像素图像，包括从所述瞬时像素组修改第一瞬时像素，包括：将所述第一瞬时像素与度量相比较；和基于比较结果，由基于所述第一瞬时像素和/或空间上邻近所述第一瞬时像素的一个或多个瞬时像素而确定的另一值，取代所述第一瞬时像素的一个或多个像素值。

【技术特征摘要】
2018.04.23 US 62/661,540;2018.04.23 US 62/661,545;1.一种用于预处理瞬时像素图像的系统，所述系统包括与存储器通信的处理器，所述处理器配置成执行存储器所存储的指令，所述指令引起所述处理器：获得场景的一组图像，其中所述图像组中的每个图像(a)捕获投影至所述场景上的光图案的一部分和(b)为所述场景的透视图；基于所述图像组而生成包括一组瞬时像素的第一瞬时像素图像，其中所述瞬时像素组中的每个瞬时像素包括与所述图像组的每个图像相关联的位置处的一组像素值；和基于所述第一瞬时像素图像而生成第一修改瞬时像素图像，包括从所述瞬时像素组修改第一瞬时像素，包括：将所述第一瞬时像素与度量相比较；和基于比较结果，由基于所述第一瞬时像素和/或空间上邻近所述第一瞬时像素的一个或多个瞬时像素而确定的另一值，取代所述第一瞬时像素的一个或多个像素值。2.根据权利要求1所述的系统，其中所述指令还引起所述处理器：确定所述图像组和第二图像组之间的立体对应性，其中基于所述第一修改瞬时像素图像和基于所述第二图像组而确定的第二修改瞬时像素图像，所述第二图像组从与所述图像组的视角不同的视角来捕获。3.根据权利要求1所述的系统，其中所述度量与所述图像组中的曝光不足程度相关。4.根据权利要求1所述的系统，其中将所述第一瞬时像素与所述度量相比较包括：比较所述第一瞬时像素中的像素值的最大值是否低于所述度量。5.根据权利要求4所述的系统，其中由基于所述第一瞬时像素和/或空间上邻近所述第一瞬时像素的一个或多个瞬时像素而确定的另一值，取代所述第一瞬时像素的一个或多个像素值包括：由衍生自所述第一瞬时像素和/或所述第一瞬时像素的空间相邻区域的所述一个或多个瞬时像素的高斯平滑的像素值，取代所述第一瞬时像素中的每个像素值。6.根据权利要求1所述的系统，其中将所述第一瞬时像素与所述度量相比较包括：比较所述第一瞬时像素中的像素值是否低于所述度量。7.根据权利要求6所述的系统，其中由基于所述第一瞬时像素和/或空间上邻近所述第一瞬时像素的一个或多个瞬时像素而确定的另一值，取代所述第一瞬时像素的一个或多个像素值包括：由衍生自所述第一瞬时像素和/或所述第一瞬时像素的空间相邻区域的所述一个或多个瞬时像素的高斯平滑的...

【专利技术属性】
技术研发人员：M·格罗斯，M·谢弗，S·威勒克，B·哈伦特，
申请(专利权)人：康耐视公司，
类型：发明
国别省市：美国,US