用于从视图中获得距离信息的设备和方法技术

用于从视图获得距离信息的设备和方法。该方法包括从由光场获取设备(100)捕获的光场(501)生成极线图像(502，503)；边缘检测步骤(508，509)，用于在极线图像(502，503)中检测由光场获取设备(100)捕获的场景中的物体的边缘；在每个极线图像(502，503)中，检测由边缘的集合形成的有效极线线(510，511)；确定有效极线线(510，511)的斜率(512，513)。边缘检测步骤(508，509)可以包括为极线图像(502，503)的每个像素计算二阶空间导数(506，507)并检测二阶空间导数的过零，以检测具有子像素精度的物体边缘。该方法可以由低成本移动设备(1000)执行，以从深度相机记录计算实时深度图。

Devices and methods for obtaining distance information from views

【技术实现步骤摘要】
【国外来华专利技术】用于从视图中获得距离信息的设备和方法
本专利技术包括在数字图像处理领域中，并且更具体地，涉及用于从图像估计距离和生成深度图的方法。
技术介绍
全光相机是能够不仅捕获场景的空间信息而且还捕获角度信息的成像设备。这种捕获的信息称为光场，其可以被表示为四维函数LF(px，py，lx，ly)，其中px和py选择光线到达传感器的方向，lx、ly是那条光线的空间位置。全光相机通常由放置在传感器前面的微透镜阵列形成。这个系统相当于从若干视点捕获场景(所谓的全光视图，就像若干相机均匀分布在全光相机的等效光圈周围)。通过将变量px、py固定到某对值，从光场获得全光视图。可以捕获光场的另一个系统可以由若干相机的阵列形成。因而，在光场中隐含地捕获关于场景的不同物体的深度(即，物体本身和相机之间的距离)的信息。提取物点的深度信息的一般方法是测这个物点的图像在场景的若干捕获的全光视图上的位移。位移或视差(disparity)直接与物体的实际深度相关。为了获得点的视差，有必要在若干视图中(或至少在两个视图中)识别相同点的位置。为了解决这个问题，通常使用视图之间的对应算法。考虑某个视图的一个点，这些方法分析周围区域并尝试在其余视图中找到最相似的区域，从而识别其余视图中相同点的位置。一旦获得视差并且知道设备结构的参数，就有可能通过三角测量方法获得对应的深度。还有可能通过将光场重新聚焦到若干深度平面并检测更聚焦的图像的区域来确定深度信息。这些方法的主要缺点是它们计算量太大，无法在移动平台上获得实时深度图。从光场获得场景的深度信息的另一种方式是分析极线(epipolar)图像。极线图像是光场的二维切片。通过固定变量py、ly形成水平极线图像，并通过固定变量px、lx形成垂直极线图像。水平/垂直极线图像可以被理解为不同视图py/px的相同线ly/lx的堆叠。假设相同的物点被全光相机中的所有视图捕获，那么在极线图像中形成与不同点对应的线。全光相机中相邻视图之间的最大位移为±1像素。因此，在这种设备中可以避免对应算法，因为与某一行对应的每个点都直接连接到极线图像中其余视图的同一点。但是，如傅立叶域技术和离焦深度(depth-from-defocus)技术的当前全光相机算法在计算上非常低效，因为它们分析并处理图像的所有点(不仅是边缘，如在本专利技术中那样)。另一方面，简单的光场梯度方法(在水平和垂直方向上)产生非常差的深度图，具有不可靠的深度估计。而且，这些实现不能处理实时视频图像，花费几百毫秒到几分钟仅处理单个帧。因此，需要一种非常高效的方法，使得移动设备(诸如移动电话、平板电脑或笔记本电脑)中的全光相机和3D图像能够计算深度图并处理实时视频图像(例如，每秒60帧)。
技术实现思路
本专利技术涉及计算机实现的方法和设备，其通过处理由全光相机或任何其它光场获取设备、全光功能采样设备或整体图像获取设备捕获的光场图像来获得深度图。该方法在计算上非常高效，因此即使在具有由电池操作的低成本处理器的低成本移动设备中(其中需要高效的计算以避免快速耗尽电池)，它也可以用于获得实时深度图。本专利技术使用非常高效的算法，该算法允许在全光相机、移动设备(移动电话、平板电脑、笔记本电脑、小型相机等)、运动感测输入设备和3D相机中的3D图像通过识别物体边缘并仅为识别出的边缘计算深度来处理实时视频图像(以每秒60帧和甚至更高的速度)。在极线图像中产生的线的斜率与场景中的物体的实际深度之间存在关系。因此，通过检测极线图像的线的斜率，有可能生成场景的深度图。通常，基于极线图像的二维梯度的方法用于获得对应的斜率。也可以采用基于四维梯度的类似方法(因此，计算上更昂贵)。与所有这些方法相反，本方法仅针对边缘计算场景的深度，从而大大降低了计算要求。为了本专利技术的描述，下文中将考虑以下定义：-全光相机：不仅能够捕获空间位置而且还能够捕获入射光线到达方向的设备。-光场：四维结构LF(px，py，lx，ly)，其包含来自由全光相机中微透镜(lx，ly)下方的像素(px，py)捕获的光的信息。-深度：场景的物点的平面与相机的主平面之间的距离，这两个平面都垂直于光轴。-极线图像：通过选择(px，lx)(垂直极线图像)或(py，ly)(水平极线图像)的某个值而构成的光场结构的二维切片。-水平-中心极线图像：通过选择微透镜下面的py维度的中心像素作为py和任何ly构成的极线图像(光场结构的二维切片)。-垂直-中心极线图像：通过选择微透镜下方的px维度的中心像素作为px和任何lx构成的极线图像(光场结构的二维切片)。-极线线：在极线图像内连接的、被检测为边缘的像素的集合，(即，连接的边缘像素的集合)。-有效的极线线：其形状符合预期由物体世界中的边缘在理想相机中创建的形状的极线线，没有像差、未对准和制造公差。-全光视图：通过选择某个值(px，py)获取光场结构的子集而形成的二维图像，对于每个微透镜(lx，ly)选择相同的(px，py)。-深度图：二维图像，其中将物体世界的计算出的深度值(dz)作为附加值添加到二维图像的每个像素(dx，dy)，构成(dx，dy，dz)。-微透镜阵列：小透镜(微透镜)的阵列。-微图像：由传感器上方的某些微透镜产生的主光圈的图像。根据本专利技术的一方面，提供了一种用于从光场获得深度信息的方法。该方法包括以下步骤：从由光场获取设备(诸如全光相机)捕获的光场生成多个图像(例如，至少一个水平极线图像、至少一个垂直极线图像或其组合)；边缘检测步骤，用于在极线图像中检测由光场获取设备捕获的场景中的物体的边缘；在每个极线图像中，检测由边缘集合形成的有效极线线；确定有效极线线的斜率。在实施例中，边缘检测步骤包括计算极线图像的每个像素的二阶空间导数并检测二阶空间导数的过零。确定有效极线线的斜率的步骤可以包括将线拟合应用于检测到的边缘。在极线图像中检测有效的极线线可以包括将极线线确定为连接的边缘的集合并分析极线线以确定极线线是否有效。极线线优选地被确定为连接的边缘像素的集合。在实施例中，分析极线线以确定它们是否有效包括检查与至少一个标准的依从性。在实施例中，标准涉及形成极线线的像素的数量超过确定的阈值(例如，形成极线线的像素的数量必须至少等于对应极线图像的高度的像素的数量)。另一个标准可以指在极线图像内边缘像素的方向的一致性。在实施例中，采用先前标准的组合。可替代地，代替检查与至少一个标准的依从性，分析极线线以确定极线线是否有效可以包括形态分析、启发式方法或机器学习算法。在实施例中，极线线的分析可以包括忽略在极线图像的顶部和/或底部的一行或若干行像素。该方法还可以包括生成将斜率指派给物体世界中的位置的斜率图。在实施例中，生成斜率图的步骤包括仅将斜率值指派给检测到的边缘。生成斜率图的步骤还可以包括应用填充算法以将斜率值指派给斜率图的位置，同时考虑先前针对检测到的边缘获得的斜率。该方法可以包括从针对同一位置的不同有效极线线获得的冗余斜率的组合生成单个斜率图。在实施例中，丢弃指派给相对于这种位置的其余值具有高色散的某个位置的斜率。该方法还可以包括生成将深度值指派给物体世界中的位置的深度图，其中通过将斜率到深度的转换应用于斜率图来获得深度图。根据另一个实施例，该方法包括获得与有效极线线的斜率对应的深度值，以及本文档来自技高网...

【技术保护点】
1.一种用于从光场获得深度信息的方法，包括：从由光场获取设备(100)捕获的光场(501)生成多个极线图像(502，503)；边缘检测步骤(508，509)，用于在极线图像(502，503)中检测由光场获取设备(100)捕获的场景中的物体的边缘；在每个极线图像(502，503)中，检测由边缘的集合形成的有效极线线(510，511)；确定有效极线线(510，511)的斜率(512，513)。

【技术特征摘要】
【国外来华专利技术】1.一种用于从光场获得深度信息的方法，包括：从由光场获取设备(100)捕获的光场(501)生成多个极线图像(502，503)；边缘检测步骤(508，509)，用于在极线图像(502，503)中检测由光场获取设备(100)捕获的场景中的物体的边缘；在每个极线图像(502，503)中，检测由边缘的集合形成的有效极线线(510，511)；确定有效极线线(510，511)的斜率(512，513)。2.如权利要求1所述的方法，其中边缘检测步骤(508，509)包括为极线图像(502，503)的每个像素计算二阶空间导数(506，507)并检测二阶空间导数的过零。3.如前述权利要求中任一项所述的方法，其中确定有效极线线(510，511)的斜率(512，513)的步骤包括将线拟合应用于检测到的边缘。4.如前述权利要求中任一项所述的方法，其中检测极线图像(502，503)中的有效极线线(510，511)包括将极线线确定为连接的边缘的集合并分析极线线，以确定极线线是否有效。5.如权利要求4所述的方法，其中极线线(710，712)被确定为连接的边缘像素(731)的集合。6.如权利要求5所述的方法，其中分析极线线以确定它们是否有效包括检查与至少一个标准的依从性，其中这种标准包括以下当中的至少一个：-形成极线线(710，712)的像素数超出确定的阈值；-在极线图像(730)内边缘像素(731)的方向的一致性。7.如权利要求6所述的方法，其中形成极线线(710，712)的像素的数量必须至少等于对应极线图像(502，503)的高度的像素数。8.如权利要求4至5中任一项所述的方法，其中分析极线线以确定极线线是否有效包括以下任何一个：-形态分析；-启发式方法；-机器学习算法。9.如权利要求4至8中任一项所述的方法，其中极线线的分析包括忽略在极线图像(502，503)的顶部和/或底部的一行或若干行像素(640)。10.如前述权利要求中任一项所述的方法，其中生成的极线图像包括：-至少一个水平极线图像(502)，或-至少一个垂直极线图像(503)，或-它们的组合。11.如前述权利要求中任一项所述的方法，还包括生成斜率图，该斜率图将斜率指派给物体世界中的位置(dx，dy)。12.如权利要求11所述的方法，其中生成斜率图的步骤包括仅将斜率值指派给检测到的边缘。13.如权利要求11至12中任一项所述的方法，其中生成斜率图的步骤包括，考虑先前为检测到的边缘获得的斜率，应用填充算法将斜率值指派给斜率图的位置(dx，dy)。14.如权利要求11至13中任一项所述的方法，还包括从针对相同位置(dx，dy)的不同有效极线线(510，511)获得的冗余斜率的组合生成单个斜率图。...

【专利技术属性】
技术研发人员：J·V·布拉斯科克拉雷特，C·蒙托柳德列达阿尔瓦罗，A·卡拉泰乌德卡拉泰乌德，
申请(专利权)人：弗托斯传感与算法公司，
类型：发明
国别省市：西班牙,ES