用于生成鲁棒性立体图像的技术制造技术

本发明专利技术描述了用于从立体图像中生成鲁棒性深度图的技术。鲁棒性深度图从采用或不采用闪光照明所捕获的立体图像的集合中生成。因为实现了根据使用不同闪光照明级别所捕获的光强度的比率来在匹配窗口中加权像素的像素匹配算法，所以深度图比使用常规技术所生成的深度图更具鲁棒性。比率图提供相对于邻近像素的深度的粗略估计，该粗略估计使得闪光/无闪光像素匹配算法能够使表现为与匹配窗口中的中央像素位于不同深度的像素降值。此外，比率图可用来过滤所生成的深度图以生成针对立体图像内的对象的深度的平滑估计。

【技术实现步骤摘要】
用于生成鲁棒性立体图像的技术
本专利技术总地涉及立体图像，并且，更具体地，涉及从采用和不用诸如闪光器件的光源所捕获的一对对应的立体图像中生成鲁棒性立体图像的技术。
技术介绍
近来，三维(3D)立体图像和视频在消费者市场中已备受青睐。随着相对便宜的3DHDTV(高清晰度电视)装置的市场化所引入的更宽泛的3D内容选择已经使以3D形式观看图像和视频变得更加普遍。使计算机配备照相机装置以及从立体图像对中计算深度和空间关系已通过3D建模、机器人导航、新图像合成、增扩实境、以及游戏中的应用而被大量记载。近来，立体成像已展示在像诸如Fuji?: Fin印ix3D照相机和Sony?:Bl0ggie3D照相机的手持视频照相机那样常见的应用中。常规地，应用使用基本立体重建算法从所捕获的立体图像中生成深度图(depthmap)以通过对取自偏移位置的、跨两个或两个以上图像的场景点的投射加以比较来针对每个像素生成深度值。以另一种方式来讲，立体重建算法基本是像素匹配操作。典型地通过最小化平方和、最大化像素相关性、或通过应用秩(rank)或统计变换(census transform)并随后匹配秩或位串来实施像素匹配。这些算法在有纹理的表面上工作较好，但算法难以在具有均匀颜色的表面上进行准确匹配。此外，像素匹配算法临近于遮挡(occlusion)边界可能失败，因为在边界处的深度间断点将使局部像素跨不同图像而有所不同(即封闭表面在一个图像中遮挡背景中的像素但在其他图像中则遮挡不同的背景对象并且因此，那些像素不具有对应匹配)。常规算法可能失败的情况的一个好的示例是当通过细网格诸如藤椅或铁丝网围栏来拍摄照片时。因此，本领域所需要的是用于生成与立体图像相关联的准确的、逐像素的深度图的更有效的方法。
技术实现思路
本专利技术的一个实施例阐述了用于从立体图像的集合中生成深度图的方法。方法包括以下步骤:生成与立体图像的集合中的第一图像和立体图像的集合中的对应第二图像相关联的比率图，其中第一图像通过使用环境照明由第一图像传感器所捕获，并且第二图像通过使用闪光照明由第一图像传感器所捕获。第一图像对应于与由第一图像传感器捕获第一图像大致同时地由第二图像传感器所捕获的第三图像。类似地，第二图像对应于与由第一图像传感器捕获第二图像大致同时地由第二图像传感器所捕获的第四图像。方法进一步包括以下步骤:基于第二图像和第四图像的比较生成与第二图像相关联的像差图，以及生成与第二图像相关联的深度图。方法还可包括以下步骤:生成与第三图像和第四图像相关联的比率图、生成与第四图像相关联的像差图、以及生成与第四图像相关联的深度图。针对第二图像中的每个像素，比率图将像素与基于第二图像的针对像素的第一强度值和基于第一图像的针对对应像素的第二强度值的比率相关联、像差图根据将第二图像中的像素与第四图像中的对应像素加以比较的像素匹配算法来将像素与像差值相关联，其中像素匹配算法包括基于与像素相关联的比率的至少一个计算，并且深度图将像素与基于焦距、基线偏移距离以及与像素相关联的像差值所计算的深度值相关联。本专利技术的另一个实施例阐述了包括指令的计算机可读存储介质，当由处理单元所执行时，该指令致使处理单元根据上文所阐述的方法实施用于从立体图像的集合中生成深度图的操作。本专利技术的又一个实施例阐述了用于从立体图像的集合中生成深度图的系统。系统包括存储器和处理器。存储器配置为存储由两个或两个以上图像传感器所捕获的立体图像的集合，该立体图像的集合包括通过使用环境照明由第一图像传感器所捕获的第一图像、通过使用闪光照明由第一图像传感器所捕获的第二图像、与由第一图像传感器捕获第一图像大致同时地由第二图像传感器所捕获的第三图像、以及与由第一图像传感器捕获第二图像大致同时地由第二图像传感器所捕获的第四图像。处理器耦连到存储器并配置为根据上文所阐述的方法实施用于从立体图像的集合中生成深度图的操作。所公开的系统的一个优点是立体视觉照相机对于生成鲁棒性深度图并不要求光源位置或强度分布的高校准度。本文所描述的技术可实现在许多低成本的手持设备中。简单比较使用不同照明度的所捕获的光强度的比率提供了信息，该信息可用来有效率地匹配与相同表面相对应的像素并且可用来在位于像素匹配算法中的不同深度处的像素之间进行区分。【附图说明】因此，可以详细地理解本专利技术的上述特征，并且可以参考实施例得到对如上面所简要概括的本专利技术更具体的描述，其中一些实施例在附图中示出。然而，应当注意的是，附图仅示出了本专利技术的典型实施例，并且因此不应被认为是对其范围的限制，本专利技术可以许可其他等效的实施例。图1是示出了配置为实现本专利技术的一个或多个方面的计算机系统的框图；图2详细说明了根据本专利技术的一个实施例的、立体视觉照相机的基本几何结构；图3示出了根据本专利技术的一个实施例的、用于捕获闪光/无闪光立体图像对的立体视觉照相机；图4示出了根据本专利技术的一个实施例的、闪光/无闪光立体图像对和对应比率图的示例；图5A和5B示出了根据本专利技术的一个实施例的、用于计算与像素相关联的像差空间图像(DSI)的像素匹配算法；图6A和6B示出了根据本专利技术的一个实施例的、用于生成更具鲁棒性的深度图的迭代过滤算法；图7是根据本专利技术的一个实施例的、用于生成与立体图像相关联的像差图的方法步骤的流程图；以及图8是根据本专利技术的一个实施例的、用于生成与闪光立体图像相关联的经过滤的像差图的方法步骤的流程图。为了清楚起见，在适用的情况下，已经使用同样的参考数字以指明在附图之间共同的同样的元件。应预期到的是，一个实施例的特征可包含在其他实施例中而不用进一步 复述。【具体实施方式】在下面的描述中，将阐述大量的具体细节以提供对本专利技术更透彻的理解。然而，本领域的技术人员应该清楚，本专利技术可以在没有一个或多个这些具体细节的情况下得以实践。系统概述图1是示出了配置为实现本专利技术的一个或多个方面的计算机系统100的框图。计算机系统100可以是台式计算机、膝上计算机、手持设备、蜂窝式电话、PDA(个人数字助理)、平板计算机、照相机、或其他众所周知类型的消费者电子设备。如图1所示，计算机系统100包括但不限于，经由可以包括存储器桥105的互连路径通信的中央处理单元(CPU) 102和系统存储器104。存储器桥105可以是例如北桥芯片，经由总线或其他通信路径106 (例如超传输(HyperTransport)链路)连接到1/0(输入/输出)桥107。I/O桥107，其可以是例如南桥芯片，从一个或多个用户输入设备108 (例如键盘、鼠标)接收用户输入并且经由通信路径106和存储器桥105将该输入转发到CPU102。并行处理子系统112经由总线或第二通信路径113 (例如外围部件互连Express(PCIe)、力口速图形端口或超传输链路)耦连到存储器桥105 ;在一个实施例中，并行处理子系统112是将像素传递到显示设备110 (例如传统的基于阴极射线管或液晶显示器的监视器)的图形子系统。系统盘114也连接到I/O桥107。交换器116提供I/O桥107与诸如网络适配器118以及各种插卡120和121的其他部件之间的连接。其他部件(未明确示出)，包括通用串行总线(USB)或其他端口连接、压缩光盘(⑶)驱动器、数字视频光盘(DVD本文档来自技高网...

【技术保护点】
一种用于从立体图像的集合中生成深度图的计算机实现的方法，所述方法包括：生成与所述立体图像的集合中的第一图像和第二图像相关联的比率图，其中针对所述第二图像中的每个像素，所述比率图将所述像素与基于所述第二图像的针对所述像素的第一强度值和基于所述第一图像的针对对应像素的第二强度值的比率相关联，并且其中所述第一图像由第一图像传感器使用环境照明所捕获，并且所述第二图像由所述第一图像传感器使用闪光照明所捕获；基于所述立体图像的集合中的所述第二图像和第四图像的比较来生成与所述第二图像相关联的像差图，其中针对所述第二图像中的每个像素，所述像差图根据对所述第二图像中的像素与所述第四图像中的对应像素加以比较的像素匹配算法来将所述像素与像差值相关联，其中所述像素匹配算法包括基于与所述像素相关联的所述比率的至少一个计算，并且其中第三图像与由所述第一图像传感器捕获所述第一图像大致同时地由第二图像传感器所捕获，并且所述第四图像与由所述第一图像传感器捕获所述第二图像大致同时地由所述第二图像传感器所捕获；以及生成与所述第二图像相关联的深度图，其中针对所述第二图像中的每个像素，所述深度图将所述像素与基于焦距、基线偏移距离以及与所述像素相关联的所述像差值所计算的深度值相关联。...

【技术特征摘要】
2012.06.07 US 13/490,9911.一种用于从立体图像的集合中生成深度图的计算机实现的方法，所述方法包括: 生成与所述立体图像的集合中的第一图像和第二图像相关联的比率图，其中针对所述第二图像中的每个像素，所述比率图将所述像素与基于所述第二图像的针对所述像素的第一强度值和基于所述第一图像的针对对应像素的第二强度值的比率相关联，并且其中所述第一图像由第一图像传感器使用环境照明所捕获，并且所述第二图像由所述第一图像传感器使用闪光照明所捕获； 基于所述立体图像的集合中的所述第二图像和第四图像的比较来生成与所述第二图像相关联的像差图，其中针对所述第二图像中的每个像素，所述像差图根据对所述第二图像中的像素与所述第四图像中的对应像素加以比较的像素匹配算法来将所述像素与像差值相关联，其中所述像素匹配算法包括基于与所述像素相关联的所述比率的至少一个计算，并且其中第三图像与由所述第一图像传感器捕获所述第一图像大致同时地由第二图像传感器所捕获，并且所述第四图像与由所述第一图像传感器捕获所述第二图像大致同时地由所述第二图像传感器所捕获；以及 生成与所述第二图像相关联的深度图，其中针对所述第二图像中的每个像素，所述深度图将所述像素与基于焦距、基线偏移距离以及与所述像素相关联的所述像差值所计算的深度值相关联。2.根据权利要求1所述的方法，其中针对所述第二图像中的每个像素，生成所述像差图包括: 生成包括针对多个潜在像差值所计算的多个成本值的像差空间图像；以及 基于所述多个成本值从所述多个潜在像差值中选择特定像差值。3.根据权利要求2所述的方法，其中选择所述特定像差值包括从所述多个潜在像差值中选择与所述像差空间图像中的最小成本值相关联的潜在像差值。4.根据权利要求1所述的方法，进一步`包括: 过滤所述像差图以生成与所述第二图像相关联的经过滤的像差图， 其中针对所述第二图像中的每个像素，所述经过滤的像差图将经过滤的像差值与所述像素相关联， 其中所述经过滤的像差值通过计算在与临近所述像素的像素窗口相关联的所述像差图中的像差值的集合的加权和所生成，以及 其中用于所述像差值的集合中的所述像差值中的每一个的加权系数与和该加权系数相关联的所述像差值的置信级别相关，该加权系数至少部分地基于与所述像素相关联的所述比率。5.根据权利要求4所述的方法，进一步包括，针对迭代数N，重复所述过滤步骤以生成N个经连续过滤的像差图，其中在当前迭代期间所生成的每个经连续过滤的像差图通过过滤在先前迭代期间所生成的经连续过滤的像差图所生成。6.根据权利要求1所述的方法，进一步包括: 生成与所述第四图像相关联的比率图； 生成与所述第四图...

【专利技术属性】
技术研发人员：卡里·皮利，亚历杭德罗·特罗科利，周昌印，
申请(专利权)人：辉达公司，
类型：发明
国别省市：