用于估计像素的深度的方法、对应的设备以及计算机程序产品技术

提出了一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法。该方法包括至少针对在M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，该处理包括：‑确定N个图像的集合中的图像的深度图，以提供N个深度图的集合；以及‑对于N个图像的集合的当前图像中的至少一个当前像素：‑确定N个深度图的集合的深度图中与当前像素相关联的深度值所对应的候选深度是否与N个深度图的集合中的其他深度图一致；以及‑如果候选深度被确定为与N个深度图的集合中的其他深度图一致，则选择候选深度作为当前像素的估计深度。该处理被迭代地执行，处理的每一次新的迭代都以新的N值执行，新的N值低于处理的先前迭代中使用的先前的N值。

【技术实现步骤摘要】
【国外来华专利技术】用于估计像素的深度的方法、对应的设备以及计算机程序产品
本公开一般涉及光场(LF)内容(例如LF图像或视频)领域。更具体地，本公开涉及用于估计属于LF内容中的图像的像素的深度的方法。在使用LF捕获的任何领域中，对于专业人员和消费者来说，本公开都是感兴趣的。
技术介绍
LF内容包括以下两者之一：-全景视频，也称为基于微透镜的视频，即在视频中，其中属于图像矩阵的图像是子孔径图像，所述子孔径图像是从使用主透镜系统之外的微透镜阵列的单个相机(例如全景相机)同时捕获的；或-多视点视频，即在视频中，其中属于图像矩阵的图像是从多个相机角度同时捕获的，通常使用由多个相机组成的相机阵列(也称为相机组)。LF内容中的像素的深度估计绝大部分时间减少到基于从两个不同视点捕获相同场景的至少两个视图的可用性、对属于通常用于确定这种深度的已知技术(例如匹配技术)的LF内容的每个视图的复制。然而，基于使用两个不同视图的方法无法给出可靠的结果，例如在发生遮挡的特定情况下。实际上，在这种情况下，由给定视点捕获的场景的一部分可能没有被另一个视点捕获。在这种情况下，无法确定深度，或者通过此类已知算法返回异常值。已经提出了一些提议，用于使用LF内容中最大数量的可用视点以便在深度估计中获得更可靠的结果(例如，当发生遮挡时)，如H.Zhu，Q.Wang和J.Yu在IEEE《信号处理精选主题期刊》第11卷第7期第965-978页，2017年10月的论文“光场中遮挡模型引导的抗遮挡深度估计”。然而，这种方法仍然可以被改进。因此，需要一种方法，该方法利用与LF内容中的不同视点相关的信息来估计具有强制一致性的像素的深度，特别是在存在遮挡的情况下。还需要有这样的方法，其允许估计的深度具有高质量。
技术实现思路
本公开涉及一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2。这种方法包括至少对于在所述M个图像中取出的N个图像的一个集合实施一种处理，2＜N≤M，所述处理包括：-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及-对于所述N个图像的集合的当前图像中的至少一个当前像素：-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。本公开的另一方面是关于一种用于估计光场内容的M个图像的矩阵中的像素的深度的设备，其中M＞2。这种设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括：-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及-对于所述N个图像的集合的当前图像中的至少一个当前像素：-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。此外，本公开涉及一种非暂时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，所述计算机程序产品包括程序代码指令，所述程序代码指令包括用于实现先前所述的用于估计光场内容的M个图像的矩阵中的像素的深度的方法的程序代码指令。附图说明实施例的其他特征和优点将从以下描述和附图中显现，以下描述通过指示性和非穷尽性的示例给出，其中：图1示出了根据一个实施例的LF内容的图像矩阵；图2a和2b各自示出了根据一个实施例的多个图像(或角度块)的集合；图3a和3b各自示出了根据一个实施例的多个像素空间块；图4示出了根据一个实施例的用于估计图1的图像矩阵中的像素的深度的方法的流程图；图5示出了根据一个实施例的对应于图1的图像矩阵中的不同图像的从一个视点到另一个视点的变化；以及图6示出了可用于实现图4的方法的示例性设备。具体实施方式在本文件的所有附图中，相同的数字参考符号表示相似的元素和步骤。现在，我们结合图1描述根据一个实施例的LF内容的图像矩阵100mi。图像矩阵100mi包括由LF捕获系统同时(即在给定时刻)捕获的四个图像。在其它实施例中，图像矩阵包括由LF捕获系统同时捕获的大于两个的任意数量的图像。回到图1，图像矩阵100mi中的每个图像对应同一场景的不同视图。从这个意义上说，图像和相应的视图之间是等价的。例如，这种LF捕获系统是相机阵列(或相机组)，并且每个图像由相机阵列的不同相机拍摄。在其它示例中，LF捕获系统是全景相机，并且属于图像矩阵的图像是子孔径图像。在属于图像矩阵100mi的图像中，存在当前图像100ci和属于当前图像100ci的当前像素100cp。在下文中，我们假设尚未估计当前像素100cp的深度，以便以当前像素100cp作为示例，以详细说明根据下面结合图4讨论的本公开的用于估计像素深度的方法的步骤。现在，我们结合图2a描述根据一个实施例的图像组200N的多个图像组200pN。多个图像组200pN中的每组图像200N(也称为“角度块”)包括在图像矩阵100mi的4个图像中取出的3个不同的图像(以深灰色描绘)。这样的图像组200N和这样的图像组200N的多个图像组200pN被用在下面结合图4讨论的根据本专利技术的用于估计像素深度的方法中。在本实施例中，多个图像组200pN包括四个图像组200N。在其他实施例中，根据本公开的用于估计像素深度的方法依赖于包括不同于三个图像的图像组，并且多个图像组包括不同于四个的数量的图像组。例如，在图2b所示的实施例中，多个图像组200pN'的每组图像200N'包括在图像矩阵100mi的四个图像中取出的两个不同的图像(仍用深灰色表示)。多个图像组200pN'包括六个图像组200N’。现在，我们结合图3a描述根据一个实施例的像素空间块300P的多个像素空间块300pP。多个像素空间块300pP中的每个像素空间块300P包括在当前图像100ci中的当前像素100cp的邻域中取出的八个不同像素。空间邻域通常由奇数边长的正方形空间块组成，以所考虑的当前像素100cp为中心。这种像素空间块300P的集合和这种像素空间块300P的多个像素空间块300pP被用在下面结合图4讨论的用于估计像素深度的方法的一本文档来自技高网...

【技术保护点】
1.一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2，所述方法包括至少针对在所述M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，所述处理包括：/n-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及/n-对于所述N个图像的集合的当前图像中的至少一个当前像素：/n-确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及/n-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度，/n其中，所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。/n

【技术特征摘要】
【国外来华专利技术】20180719 EP 18305989.81.一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2，所述方法包括至少针对在所述M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度，
其中，所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。


2.一种用于估计光场内容的M个图像的矩阵中的像素的深度的设备，其中M＞2，所述设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为：至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度，
其中，所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。


3.根据权利要求1所述的方法或根据权利要求2所述的设备，
其中N<M并且所述N个图像的集合属于在所述M个图像中取出的多个N个图像的集合，并且
其中，对每个N个图像的集合执行所述处理的每次迭代。


4.根据权利要求1或3所述的方法或根据权利要求2或3所述的设备，其中所述确定所述当前像素的候选深度是否一致包括：确定所述当前像素的所述候选深度和所述N个深度图集合的所述其他深度图之间的几何一致性。


5.根据权利要求4所述的方法或根据权利要求4所述的设备，
其中，所述确定几何一致性包括：
-确定所述N个图像的集合中与所述当前图像不同的另一图像中的理论位置，所述理论位置对应于与所述当前像素和所述候选深度相关联的对象点在所述另一图像中的投影；
-基于与所述N个深度图的集合中的所述另一图像相关联的深度图，获得与所述理论位置相关联的深度值；以及
-在所述当前图像中确定与所述理论位置和所述深度值相关联的另一对象点在所述当前图像中的投影所对应的另一理论位置；
当所述当前图像中所述当前像素和所述另一理论位置之...

【专利技术属性】
技术研发人员：F巴邦，N萨巴特，M霍格，D多延，G博伊森，
申请(专利权)人：交互数字CE专利控股公司，
类型：发明
国别省市：法国;FR