粗到细多个视差候选立体匹配制造技术

用于基于多个视差分配和每一视差分配的匹配成本来生成立体图像对的视差图的估计；以及通过细化所估计的视差图来生成最终视差图的图像处理装置、系统以及方法。

【技术实现步骤摘要】
【国外来华专利技术】粗到细多个视差候选立体匹配背景根据立体图像生成三维(3-D)信息是3-D和其他多视图图像处理中的重要任务。注意，真实世界点(例如，所观看的对象)投影到立体图像中的唯一一对对应像素。基于立体图像，从与同一真实世界点相对应的立体图像提取或以其他方式生成3-D信息是可能的。确定所投影的立体图像中的点距主题点的位置通常造成对应性问题。解决该对应性问题可包括生成视差图(disparitymap)的估计。与同一真实世界图像相关联的立体图像的两个对应点的位置的差异通常被称为视差。在左和右(即，立体)图像中多个真实世界点的投影的视差的图可被称为视差图。用于生成视差图的一些以前的技术包括局部、全局、以及迭代技术。然而，这些技术中的每一个都不乏其缺点。例如，对于局部方法，视差图的估计取决于有限窗口内的强度值因而计算成本很低。相反，全局方法可以使用非局部约束来降低对局部区域(如遮挡或无纹理区域)的敏感性，但与局部方法相比，全局方法的计算成本因而很高。另外，先前的迭代方法可采用通常操作图像金字塔的粗到细技术，其中来自较粗糙水平的结果被用于定义较精细水平的更加局部的搜索。改进这样的迭代方法的效率因而是重要的。附图说明本文中所公开的各方面通过示例而非限制地在附图中示出。为说明的简单和清楚而非限制起见，在附图中示出的各方面不一定按比例绘制。此外，在认为合适的地方，在附图中重复附图标记以指示相应或相似的元件。图1是根据本文的一些实施例的对应立体对图像的说明性描绘。图2是根据一个实施例的过程的流程图。图3是根据一个实施例的与视差图的估计相关的过程300的流程图。图4示出根据一实施例的“无疑”片段的分类的匹配成本和交集大小域的图。图5示出根据一实施例的“稳定”片段的分类的匹配成本和交集大小域的图。图6示出根据一实施例的“不稳定”片段的分类的匹配成本和交集大小域的图。图7示出根据一实施例的“未被遮挡”片段的分类的匹配成本和交集大小域的图。图8示出根据本文的一实施例的视差图的说明性描绘。图9示出根据本文的一些实施例的可生成视差图的图像处理系统的框图。具体实施方式以下描述了可支持用于提高生成视差图的效率和准确性的过程和操作的图像处理设备或系统。本公开内容提供了与用于实现这些过程和操作的系统有关的多个具体细节。然而，本领域技术人员将领会，没有这些具体细节也可实践本公开内容的诸实施例。因而，在一些实例中，诸如控制机制和全软件指令序列等各方面未被详细示出以便不模糊本公开内容的其他方面。本领域技术人员利用本文所包括的描述将能在无需过度实验的情况下实现适当的功能。在说明书中对“一个实施例”、“一些实施例”、“一实施例”、“示例实施例”、“一实例”、“一些实例”等的引用表明所描述的实施例可包括特定特征、结构或特性，但不一定每个实施例均包括该特定特征、结构或特性。此外，这样的短语不一定是指同一个实施例。此外，当结合一个实施例描述特定特征、结构或特性时，我们认为，可在本领域技术人员的学识范围内，与其他实施例相结合地影响这样的特征、结构或特性，无论是否对此明确描述。本文的一些实施例可以用硬件、固件、软件或它们的任意组合来实现。各实施例还可实现为储存在机器可读介质上的可执行指令，这些指令可由一个或多个处理器读取和执行。一种机器可读存储介质可包括用于以机器(例如，计算设备)可读的形式存储信息的任意有形的非暂时性机构。在一些方面，机器可读存储介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；以及电子或光学形式的信号。尽管在本文中将固件、软件、例程、以及指令描述为执行某些动作，但应当明白，这些描述仅仅是出于方便起见且这些动作实际上得自执行该固件、软件、例程以及指令的计算设备、处理器、控制器以及其他设备。与共同对象相对应的立体对图像投影可被处理以生成多视图或三维(3-D)图像，例如通过从立体图像中提取场景的3-D结构。这基于以下事实：真实世界点投影到相关联的立体图像中的唯一一对对应的像素。因而，在确定对应的像素时还原该对象点的三维信息是可能的。图1是从来自真实世界图像的投影获得的立体对图像105和110的说明性描绘。在一些方面，图像105可被称为立体对的左图像而图像110可被称为立体对的右图像。在一个实施例中，本文的方法和系统基于多峰值候选集合结合匹配成本模糊性确定来估计经调整的立体对的视差图。在一些方面，粗到细方法被用来降低与视差图的确定相关联的计算要求。作为一些实施例的总体概览，图2是用于生成视差图估计的过程200的说明性流程图。过程200可包括用于对一对立体图像分段的操作205。立体图像因而是过程200的输入并且可被称为输入立体对在操作210，确定将与输入立体对和相对应的片段分类成“可疑”还是值得信任(即，“不可疑”)以用于视差图估计过程。具体而言，一些实施例确定片段是否是“可疑”的，而这样的确定可以用于稍后的处理操作。在操作215，输入立体对可按预定因子来按比例缩小。缩小可以在过程200的这一时刻执行，以减少生成视差图估计所需的计算。在一些方面，缩放因子在本文中被称为tsc。继续至操作220，使用立体对的经缩放的图像Il和Ir来执行视差图D的估计与在确定视差图估计时使用的因子和考虑有关的附加细节在下文中提供。过程200还包括用于放大在操作220生成的所估计的视差图D的操作225。提供该放大以补偿操作215的缩小。注意，缩小和放大发生在所估计的视差图的计算之前和之后。以此方式，计算所估计的视差图所需的计算资源可被降低。操作230包括所估计的视差图的细化Dl。在一些方面，左和右图像分别被用作右和左图像的附加图像。如上所述，过程200是本文的方法的一实施例的总体概览的流程图。下文是过程200的操作的更详细呈现，示出了本公开的各方面。各详细方面中的一些在图3的过程300中反映。图3包括305处的分段操作。关于分段操作305，在一些实施例中，分段可通过将图像表示为X并且将图像片段的集合表示为SX来实现。图像X可被迭代地过滤Nms次并且经过滤的图像F的像素F(i,j)((i,j)是像素位置)可如下定义：其中W(i,j)是其中心在像素(i,j)处的(2hsp+1)×(2hsp+1)窗口。片段s∈SX可如下定义：当且仅当经过滤的像素和的颜色距离小于阈值，两个邻居像素和才属于同一片段。即，注意，和因而，图像可被分段成各片段，其中各片段包括其间的颜色距离小于阈值的像素。在一些实施例中，阈值可以是预定的。关于检测可疑片段操作210，可疑片段可通过将图像表示为X并将图像片段的集合表示为SX来确定或检测。如果片段s∈SX不包含nd×nd像素块，则它可被定义为“可疑的”。即，其中w和h是图像X的宽度和高度。在此，表示“不可疑”片段的集合，并且表示可疑片段的集合。因此，被分类成可疑的片段可能不包括用于确定视差图的足够信息。过程200的操作215包括缩小输入立体对图像。在一些实施例中，图像可按因子tsc来缩小。在此，X表示图像且SX表示图像片段的集合。对于每一其中w和h是图像X宽度和高度，将和W(i,j)定义为：其中表示其左上角处于当前像素的方形块，表示该方形块与某一‘不可疑片段’的最大交集。对于所有‘不可疑’片段，选择给出最大交集的本文档来自技高网...

【技术保护点】
一种计算机实现的方法，所述方法包括：基于多个视差分配以及每一视差分配的匹配成本来生成立体图像对的视差图的估计；以及通过细化所估计的视差图来生成最终视差图。

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，所述方法包括：基于多个视差分配以及每一视差分配的匹配成本来生成立体图像对的视差图的估计；以及通过细化所估计的视差图来生成最终视差图，其中生成所述视差图估计包括：对所述立体图像分段，各片段各自包括具有颜色距离的多个像素，所述多个像素的所述颜色距离处于彼此的阈值内；确定所述片段是可疑的还是不可疑的；计算所述片段的匹配成本；基于所述片段的匹配成本最小值来确定诸个视差候选；以及基于所述片段的匹配成本最小值来将所述诸个视差候选分配给多个片段分类之一，以生成所述立体图像的所估计的视差图。2.如权利要求1所述的方法，其特征在于，所述多个片段分类中的每一片段分类包括不同水平的分段信息。3.如权利要求1所述的方法，其特征在于，还包括：在生成所估计的视差图之前，按预定因子来缩小所述立体图像；以及在生成所估计的视差图之后，按所述预定因子对它进行放大。4.如权利要求1所述的方法，其特征在于，所述视差图估计适用于所述立体图像的被遮挡区域。5.一种生成视差图的系统，所述系统包括：其上存储有处理器可执行指令的机器可读介质；以及视差图估计器，包括用于执行所述指令以进行以下操作的处理器：基于多个视差分配以及每一视差分配的匹配成本来生成立体图像对的视差图的估计；以及通过细化所估计的视差图来生成最终视差图，其中生成所述视差图估计包括：对所述立体图像分段，各片段各自包括具有颜色距离的多个像素，所述多个像素的所述颜色距离处于彼此的阈值内；确定所述片段是可疑的还是不可疑的；计算所述片段的匹配成本；基于所述片段的匹配成本最小值来确定诸个视差候选；以及基于所述片段的匹配成本...

【专利技术属性】
技术研发人员：T·Y·古瑟瓦，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US