用于密集立体匹配的快速成本聚合制造技术

本发明专利技术呈现用于密集立体匹配的快速成本聚合的方法、系统、计算机可读媒体及设备。一种实例性方法包含以下步骤：接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对经子取样成本量中的每一像素p，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素；及响应于识别不匹配像素，对所述不匹配像素执行间隙填充以生成视差图；及由所述视差图生成并存储深度图。

Fast cost aggregation for dense stereo matching

The present invention presents a method, system, computer readable medium and equipment for fast cost aggregation for dense stereo matching. An example method includes the following steps: receiving the first image of the scene and the first two image; correcting the image; calculating the cost based on the first and two images; subsampling the cost to generate the cost of the subsampling, and determining the pixel P for each pixel of the pixel P in the subsampling cost. One or more local extremes in the cost of each of the adjacent pixels Q in the central window; for each pixel P, a cost aggregation is performed using the one or more local extremes; a cross check is performed to identify the matching pixels; and the mismatched pixels are identified and the mismatched pixels are executed in the gap. Fill to generate disparity map, and generate and store depth map from the disparity map.

【技术实现步骤摘要】
【国外来华专利技术】用于密集立体匹配的快速成本聚合
本专利技术说明书大体来说涉及计算机视觉且更具体来说涉及用于密集立体匹配的快速成本聚合。
技术介绍
可使用场景的立体图像来提供场景的经模拟三维视图。此些图像通常由具有对场景稍微不同视图的两个相机同时捕获，此可模拟由人的双眼捕获的场景的稍微不同视角。除了提供场景的经模拟三维视图外，立体图像还可用于获得关于位于场景内的对象的深度的信息。当立体图像由两个相机捕获时，两个图像中的每一者中的像素通常对应于场景内的相同对象，且在许多状况下，其可能使一个图像中的像素与第二图像中的像素相关。
技术实现思路
本文中描述用于密集立体匹配的快速成本聚合的实例。举例来说，一种实例性方法包含以下步骤：接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对经子取样成本量中的每一像素p，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素以基于所述匹配像素之间的视差而生成视差图；响应于识别不匹配像素，对所述不匹配像素执行间隙填充以更新所述视差图；及由所述视差图生成并存储深度图。在另一实例中，揭示用于密集立体匹配的快速成本聚合的系统。所述系统包含非易失性计算机可读媒体；及处理器，其与所述非易失性计算机可读媒体通信，所述处理器经配置以：接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对经子取样成本量中的每一像素p，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素以基于所述匹配像素之间的视差而生成视差图；响应于识别不匹配像素，对所述不匹配像素执行间隙填充以更新所述视差图；及由所述视差图生成并存储深度图。在另一实例中，计算机可读媒体包括程序代码，所述程序代码用于致使处理器执行此软件应用程序，所述软件应用程序经配置以致使所述处理器接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对经子取样成本量中的每一像素，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素以基于所述匹配像素之间的视差而生成视差图；响应于识别不匹配像素，对所述不匹配像素执行间隙填充以更新所述视差图；及由所述视差图生成并存储深度图。这些说明性实例经提及并不意欲限制或界定本专利技术的范围，而是提供实例以辅助理解本专利技术。说明性实例在具体实施方式中进行论述，所述具体实施方式提供进一步说明。通过检查此说明书可进一步理解由各种实例提供的优势。附图说明专利或申请案文件含有以彩色展示的至少一个图式。在请求并支付所需费用之后，官方即将提供具有彩色图式的本专利或专利申请案的副本。并入本说明书且构成其部分的附图说明一或多个特定实例，且连同实例的描述，用于解释特定实例的原理及实施方案。图1展示用于捕获场景的图像的实例性相机配置；图2展示校正过程的实例性输入及输出；图3展示用于密集立体匹配的快速成本聚合的实例性方法；图4展示场景的实例性左侧图像及右侧图像；图5展示成本量计算的部分及所得成本量的说明性实例；图6展示对成本量进行子取样的实例性说明；图7展示由L0处的初始成本量生成的实例性经子取样成本量L1及L2；图8展示在图4中所展示的左侧图像IL及右侧图像IR中识别的匹配像素的实例性视觉表示；图9展示基于图8中所展示的深度图的经内插且经滤波的深度图的实例性视觉表示；及图10到12展示用于密集立体匹配的快速成本聚合的实例性计算装置。具体实施方式现在将参考形成本专利技术的部分的附图来描述数个说明性实例。虽然下面描述其中可实施本专利技术的一或多个方面的特定实例，但可使用其它实例且可进行各种修改而不背离本专利技术的范围或所附权利要求书的精神。以下描述用于密集立体匹配的快速成本聚合的说明性系统。两个相机经定位具有对相同场景稍微不同视角且每一相机与另一相机几乎相同时间拍摄场景的数字图像。系统经配置以基于由相机捕获的图像而确定关于场景的深度图信息，包含场景内的对象的深度。举例来说，如果以立体图像捕获的场景包含两个对象，一个接近于相机且一个远离相机，那么可能表示较接近对象的部分的来自一个相机的图像中的像素将具有表示相同对象上的相同点的来自第二相机的图像中的对应像素。然而，由于图像是由具有对相同场景的不同视角的相机拍摄，因此对应于第一图像中的对象上的点的像素将通常不同于对应于第二图像中的对象上的相同点的像素的位置。通过使两个图像中的对应像素匹配且计算这些对应像素之间的距离，可能确定场景内的对象的相对深度。举例来说，通常，对象越接近于相机，图像内的对应像素之间的距离越大。举例来说，如图1中可见，从不同相机位置(经标记为左“原”点OL及右“原”点OR，其偏移距离Tx)捕获单个场景130的两个图像110、120。由于偏移Tx，相同点P在两个图像IL与IR内出现在不同像素位置pL及pR处。如可见，对应于点P的右图像中的x轴坐标xR沿着x轴偏移差异d，其中坐标xL对应于左图像中的点P的x轴位置。像素位置中的此差异(也被称作视差)可用于确定从相机到场景中的对象上的点的近似距离。且通过知晓立体相机几何结构且将此分析应用于图像中的每一点，可生成场景的深度图。为了生成深度图，说明性系统首先从相机获得图像IL(110)及IR(120)且对图像执行校正过程。此状况下的校正过程尝试对准图像使得所述图像经定向以使得沿着穿过第一图像的大部分(或全部)水平扫描线的点与沿着第二图像中的对应水平扫描线的对应垫对准。举例来说，说明性系统可使第一相机及第二相机在三个维度中旋转以使其对准使得沿着例如第一图像中的特定扫描线的像素对应于沿着第二像素中的相同扫描线的像素，或可使图像旋转以完成相同结果。图2展示校正过程的实例性输入260a、270a及输出260b、270b。如使用水平扫描线250可见，最初捕获的右侧图像并未与左侧图像恰当对准，如与区域205相比较，在区域210内相对容易鉴别此未对准。因此，系统校正左侧图像及右侧图像，导致图像的边缘周围的信息的一些损失，由两个图像的边缘处的黑像素值(例如在区272a、272b中)表示。然而，如通过沿着扫描线250比较区域215及220可见，图像260b、270b现在彼此对准。一旦图像IL(260b)及IR(270b)已经校正，系统生成图像的成本量。为了生成成本量，系统针对一个图像中的每个像素(例如，260b)计算第二图像270b中的每个像素p沿着相同扫描线的似然Lp(d)，使得那些像素中的每一个在第二图像270b中移位d个像素(所述似然与用于匹配两个像素的“成本”成反比)。举例来说，再次参考图1，针对左侧图像IL的像素pL，系统计算右侧图像IR中的对应扫描线中的每一像素的似然Lp(d)，其中x坐标小于pL的x坐标。由于上述情形生本文档来自技高网...

【技术保护点】
一种用于密集立体匹配的快速成本聚合的方法，其包括：接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对所述经子取样成本量中的每一像素p，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素以基于所述匹配像素之间的视差而生成视差图；响应于识别不匹配像素，对所述不匹配像素执行间隙填充以更新所述视差图；及由所述视差图生成并存储深度图。

【技术特征摘要】
【国外来华专利技术】2015.09.18 US 14/858,9071.一种用于密集立体匹配的快速成本聚合的方法，其包括：接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对所述经子取样成本量中的每一像素p，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素以基于所述匹配像素之间的视差而生成视差图；响应于识别不匹配像素，对所述不匹配像素执行间隙填充以更新所述视差图；及由所述视差图生成并存储深度图。2.根据权利要求1所述的方法，其中确定一或多个局部极值包括确定一或多个局部最大值。3.根据权利要求1所述的方法，其中确定一或多个局部极值包括确定所述经子取样成本量中的像素p的全局极值。4.根据权利要求1所述的方法，其中确定一或多个局部极值包括确定以所述相应像素p为中心的匹配窗口内的一或多个局部最大值，且其中执行成本聚合包括基于所述匹配窗口内的所述邻近像素的局部自适应支持权重而确定加权重成本值。5.根据权利要求4所述的方法，其中执行成本聚合包括针对所述像素p及邻近像素q确定局部自适应支持权重W(p，q)，包括计算其中I表示图像值且S为所述成本量的水平。6.根据权利要求1所述的方法，其中对所述成本量进行子取样包括对所述经子取样成本量进行子取样。7.根据权利要求1所述的方法，其中执行成本聚合基于图像强度或图像颜色。8.一种用于密集立体匹配的快速成本聚合的装置，其包括：非易失性计算机可读媒体；及处理器，其与所述非易失性计算机可读媒体通信，所述处理器经配置以：接收场景的第一图像及第二图像；校正所述图像；基于所述第一及第二图像而计算成本量；对所述成本量进行子取样以生成经子取样成本量；针对所述经子取样成本量中的每一像素，确定以所述像素p为中心的窗口内的每一邻近像素q的所述经子取样成本量中的一或多个局部极值；针对每一像素p，使用所述一或多个局部极值执行成本聚合；执行交叉检查以识别匹配像素以基于所述匹配像素之间的视差而生成视差图；响应于识别不匹配像素，对所述不匹配像素执行间隙填充以更新所述视差图；及由所述视差图生成并存储深度图。9.根据权利要求8所述的装置，其中所述处理器经进一步配置以确定一或多个局部最大值以确定所述一或多个局部极值。10.根据权利要求8所述的装置，其中确定一或多个局部极值包括确定所述经子取样成本量中的像素p的全局极值。11.根据权利要求8所述的...

【专利技术属性】
技术研发人员：赛义德·赫萨蒙迪恩·纳杰菲·舒什塔里，穆拉利·拉马斯瓦米·查里，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US