用于确定视差测量的置信度/不确定性测量的概念制造技术

通过针对要执行相对于第二画面的视差的测量的第一画面的预定位置对视差候选集合的评估执行确定，并且如果这种评估涉及针对这个视差候选集合中的每个的贡献值的累积，实现用于视差测量的更有效的置信度/不确定性测量确定，贡献值取决于相应的视差候选以及根据函数与相应的视差候选相关联的与第二画面的不相似度，函数对于与相应视差候选相关联的不相似度具有第一单调性并且对于相应视差候选与预定视差之间的绝对差具有与第一单调性相反的第二单调性，预定视差具有与视差候选集合相关联的不相似度中与其相关联的最小不相似度。通过这种方式，随着视差候选的空间分布中局部极小值的数量增加，置信度/不确定性测量倾向于降低置信度，增加不确定性。

Confidence/Uncertainty Measurement Concepts for Determining Parallax Measurement

【技术实现步骤摘要】
用于确定视差测量的置信度/不确定性测量的概念
本申请涉及用于确定置信度测量或不确定性测量的概念，该置信度测量或不确定性测量测量第一画面的预定位置相对于第二画面的视差的测量的正确性的置信度或不正确性的可靠性。这种置信度/正确性测量可以用于基于视差测量改进视差/深度图的生成和/或改进视图合成。
技术介绍
立体视差估计是计算机视觉中研究得最多的并且最活跃的领域之一。这主要是因为现有算法无法获得最佳结果[1,2,3]。估计的视差不够准确或计算成本太高。近年来，深度学习方法提高了这些算法的准确性[4,5]，并且例如可以用于改善密集渲染光场的质量。为了重建这些，需要融合多个视差图，这似乎是直截了当的。但是，由于错误的视差，事实并非如此。错误视差被传播，从而导致不可靠的视差图。我们提出了一种新的置信度测量来过滤掉这些初始错误的视差。当基于常规方法[6,7,8,9,10,11,12]执行置信度测量时，通过检查成本曲线来分配置信度。作为像素的视差的函数的理想成本曲线具有单个、不同的最小值。但是，大多数成本曲线是模糊的，因为它们具有多个局部最小值或具有相似成本的多个相邻视差，从而使得全局最小值的精确定位很难。成本曲线的形状在很大程度上取决于所使用的立体算法。一些算法趋于对噪声更敏感。Spyropoulos和Mordohai使用Zbontar和LeCun[4]开发的立体方法来计算匹配成本。他们训练卷积神经网络(CNN)来预测两个图像块是否匹配。近年来，许多旨在检测不可靠视差分配的置信度测量被证明当与现有技术的立体算法[5,14,15,16]相结合时是非常有效的线索。借助于置信度测量可靠地检测立体算法的失败的能力是基本的，并且已经为此目的提出了许多方法。Hu和Mordohai[17]是第一批详尽审查和比较当时可用的置信度测量的人，并定义了评估不同测量的性能的有效指标。已引入和评估了新的置信度测量，大多数基于深度学习[5,18]和其它机器学习方法[14,15,16,19,13]。Poggi等人[20]在2017年对76项现有技术的置信度测量进行了最新的全面评估。在此，可以看到与立体算法的评估类似的趋势，基于机器学习的方法似乎优于常规方法。但是，仍然需要进一步改善用于视差测量的这些置信度/不确定性测量的质量。
技术实现思路
因此，本专利技术的一个目的是提供一种更有效的用于确定视差测量的置信度/不确定性测量的概念。该目的通过本申请的独立权利要求的主题来实现。本申请基于一种发现：根据该发现，如果针对要执行相对于第二画面的视差的测量的第一画面的预定位置对视差候选集合的评估执行确定，并且如果这种评估涉及针对这个视差候选集合中的每一个的贡献值的累积，那么可以实现用于视差测量的更有效的置信度/不确定性测量确定，其中贡献值取决于相应的视差候选以及与第二画面的不相似度，与第二画面的不相似度根据函数与相应的视差候选相关联，其中函数对于与相应视差候选相关联的不相似度具有第一单调性并且对于相应视差候选与预定视差之间绝对差具有与第一单调性相反的第二单调性，预定视差具有与视差候选集合相关联的不相似度中与其相关联的最小不相似度。通过这种方式，随着视差候选的空间分布中局部极小值的数量增加，置信度/不确定性测量倾向于降低置信度，并且增加不确定性。另外，就视差而言，任何局部极小值与全局最小值的视差距离越大，置信度趋向于越低并且不确定性趋向于越高。另外，就不相似度而言，任何局部极小值与全局最小值的距离越大，其对置信度/不确定性测量确定的影响越小。有利的实现是从属权利要求的主题。附图说明下面参考附图描述本申请的优选实施例，其中：图1示出了图示根据本申请实施例的用于画面的预定位置的视差候选集合，与这些视差候选相关联的相对于另一个画面的不相似度，置信度/不确定性测量确定器，以及可以与置信度/不确定性测量确定器形成用于深度/视差图生成或视图合成的系统的其它设备和装置的示意图；图2a-d示出了表示与视差候选相关联的不相似度的成本函数的示例图，以便图示根据本申请的具体详细实施例确定的不同情况和置信度测量的行为；图3a-d在图3a中示出了来自MB03的Teddy图像，在图3b中示出了估计视差MC-CNN+盒式滤波器，在图3c中示出了具有所提出的置信度测量的置信度，其中亮度更高并且呈现被非线性缩放以获得更好的可视化，并且图3d示出了Teddy在不同密度下的错误率；示出了四条曲线，分别针对LRD、根据等式(2)的本申请详细实施例(AUC)、CCNN以及最优；除了理论上最优的曲线，根据等式(2)的置信度测量证明是几乎对于每个密度的错误率都是最低的；图4示出了在扩展的Middlebury数据集上评估的三个置信度测量的AUC值。值越低越好。关于根据等式(2)的置信度测量按AUC排序。基于置信度测量的等式(2)对于除一个以外的所有立体对优于现有技术的方法；图5a示出了成本曲线的示意图，即，不相似度在视差候选上的分布；图5b为了说明的目的对于视差候选集合中的每一个示出了以贡献值的累积的形式的置信度/不确定性测量确定；图5c示意性地图示了通过两个因子之间的乘积确定贡献值的可能性；图5e-d示意性地示出了用于设计图5c的两个因子的可能性。具体实施方式以下描述以确定置信度测量及其优点的具体示例开始。在下文中，描述进一步的实施例，其表示相对于这个具体示例的扩展实施例，这些扩展实施例作为可能的替代方案之一覆盖具体示例并且是通过放松具体示例的一些细节而从具体示例得到的。在呈现具体实施例时，我们检查正确的实施例，并根据它们对潜在匹配进行排序的能力将其与两种现有技术的方法进行比较。为此，以下描述从介绍这种现有技术的置信度测量概念开始，因此引入并解释具体示例。此后，提供关于实验结果的深入讨论，接着是其结论，然后如上面所指示的，是对扩展具体实施例的更进一步的实施例的描述。用于比较目的的两种现有技术的概念是左右差异(LRD)[17]和置信度CNN(CCNN)[18]。根据[17]，为了更好地阐明由每个单一测量处理哪些线索，我们使用以下符号。给定矫正的左(L)和右(R)图像的立体对，对于每个可能的视差，我们计算成本量c(x；y；d)，其包含从左图像中的像素IL(xL；y)到右图像中的像素IR(xR；y)的每个可能匹配的成本值。视差通常被定义为d＝xL-xR。最小和最大视差值dmin和dmax由数据集提供。像素的成本曲线是该像素的所有可允许的视差的成本值的集合。c1和c2分别指示成本曲线的最小值和第二最小值，c2不必须是局部最小值。视差值d(c1)由d1表示。我们现在将更详细地描述两种现有技术的方法。左右差异(LRD)置信度测量[17]有利于针对左图像中像素(xL；y)的成本的两个最小极小值之间的大差额，以及左到右和右到左视差图之间的最小成本的一致性：直觉是真正对应的像素应当导致相似的成本值，从而产生小的分母。这个公式提供了针对两种故障模式的保护措施。如果差额c2-c1大，但像素不匹配，那么分母将是大的。如果差额小，那么匹配可能不明确。在这种情况下，小分母指示已经建立了两个相似像素之间的对应关系。根据[17]，LRD是用于立体输入的最佳整体方法之一。作为第二个置信度测量，我们使用置信度卷积神经网络(CCNN)[本文档来自技高网...

【技术保护点】
1.一种用于确定测量第一画面(10)的预定位置(16)相对于第二画面(12)的视差的测量的正确性的置信度的置信度测量(58)或测量第一画面(10)的预定位置(16)相对于第二画面(12)的视差的测量的不正确性的可靠性的不确定性测量的装置，所述装置被配置为：对于预定位置(16)的视差候选集合(54)中的每一个视差候选，累积取决于相应视差候选和根据函数(F)与相应视差候选相关联的至第二画面(12)的不相似度的贡献值(72)，函数(F)对于与相应视差候选相关联的不相似度(c)具有第一单调性，以及对于相应视差候选(d)与预定视差(d1)之间的绝对差具有与第一单调性相反的第二单调性，预定视差(d1)具有与视差候选集合(54)相关联的不相似度中与其相关联的最小不相似度(c1)。

【技术特征摘要】
2018.02.08 EP 18155897.41.一种用于确定测量第一画面(10)的预定位置(16)相对于第二画面(12)的视差的测量的正确性的置信度的置信度测量(58)或测量第一画面(10)的预定位置(16)相对于第二画面(12)的视差的测量的不正确性的可靠性的不确定性测量的装置，所述装置被配置为：对于预定位置(16)的视差候选集合(54)中的每一个视差候选，累积取决于相应视差候选和根据函数(F)与相应视差候选相关联的至第二画面(12)的不相似度的贡献值(72)，函数(F)对于与相应视差候选相关联的不相似度(c)具有第一单调性，以及对于相应视差候选(d)与预定视差(d1)之间的绝对差具有与第一单调性相反的第二单调性，预定视差(d1)具有与视差候选集合(54)相关联的不相似度中与其相关联的最小不相似度(c1)。2.根据权利要求1所述的装置，被配置为:将贡献值(72)计算为包括第一因子和第二因子的乘积，第一因子对于与相应视差候选相关联的不相似度(c)具有第一单调性，以及第二因子对于相应视差候选(d)与预定视差(d1)之间的绝对差具有第二单调性。3.根据权利要求1所述的装置，其中第一单调性是单调增加，第二单调性是单调减少，并且装置被配置为使累积的结果经历单调递减函数(74)以获得置信度测量，或者使用累积的结果作为不确定性测量，或者其中第一单调性是单调减小，第二单调性是单调增加，并且装置被配置为使累积的结果经历单调递减函数(74)以获得不确定性测量，或者使用积累的结果作为置信度测量。4.根据权利要求3所述的装置，其中单调递减函数将x映射到1/x。5.根据权利要求2所述的装置，其中第一因子根据第一单调函数取决于与相应视差候选相关联的不相似度，第一单调函数包括与比第一预定阈值低的不相似度对应的不相似度值的平稳段。6.根据权利要求5所述的装置，其中装置被配置为取决于与视差候选集合相关联的不相似度中的最大不相似度(cmax)来确定第一预定阈值。7.根据权利要求5所述的装置，其中装置被配置为基于最小不相似度(c1)和最大不相似度(cmax)来确定第一预定阈值。8.根据权利要求5所述的装置，其中装置被配置为基于最小不相似度(c1)与最大不相似度(cmax)的预定分数的和来确定第一预定阈值，预定分数小于1。9.根据权利要求5所述的装置，其中装置被配置为基于最小不相似度的预定分数或者基于最小不相似度与最小不相似度与最大不相似度之间的差的预定分数的差来确定第一预定阈值，预定分数小于1。10.根据权利要求5所述的装置，其中第一单调函数对应于大于第一预定阈值的不相似度是严格单调的。11.根据权利要求5所述的装置，其中高于第一预定阈值，第一单调函数是1/(c(d)-const)其中c(d)是与视差候选d相关联的不相似度并且const是常数。12.根据权利要求1所述的装置，其中第二因子根据预定函数取决于绝对差，根据所述预定函数，绝对差在第二预定阈值以下经受大于1的幂并且在第二预定阈值之上具有平稳段。13.根据权利要求12所述的装置，其中第二预...

【专利技术属性】
技术研发人员：罗纳德·奥普·赫特·费尔德，乔阿希姆·凯纳特，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国,DE