从图像中确定深度的方法和相关系统技术方案

本发明专利技术涉及一种用于从与场景(I)相关的数字图像(R，T)中确定深度的方法，包括以下步骤：A.获取(51，61)场景(I)的至少一个数字图像(R，T)，所述数字图像(51，61)由像素矩阵(p

【技术实现步骤摘要】
【国外来华专利技术】从图像中确定深度的方法和相关系统


[0001]本专利技术涉及一种从图像中确定深度的方法和相关系统。
[0002]更具体地，本专利技术涉及一种用于从数字图像中确定深度的方法，该方法被研究和实施以特别地提高用于确定图像中的视差、并且因此用于基于自动和非自动学习使用在确定深度的过程之外获得的稀疏信息作为指导，通过密度等于或低于待处理图像的密度的稀疏含义信息来确定图像场景中的点的深度的根据现有技术的解决方案的有效性。

技术介绍

[0003]在下文中，描述将针对优选地通过立体系统获取的数字立体图像的确定，但是显然不应被认为局限于这种特定用途，因为它可扩展到不同数量的图像，如将在下文中更好地阐明的那样。此外，认为数据可以由用于推断深度的任何系统(基于图像处理、主动深度传感器、激光雷达或能够推断深度的任何其他方法)生成，只要数据根据已知技术与输入图像一起被记录，如下文更好地解释的那样。
[0004]如众所周知的那样，从数字图像中获得密集和精确的深度的估计对于更高层次的应用至关重要，诸如人工视觉、自动驾驶、3D重构和机器人技术。
[0005]图像中的深度检测通常可以使用主动传感器来执行，诸如LiDAR(Light Detection and Ranging or Laser Imaging Detection and Ranging，光检测和测距或激光成像检测和测距)，其是一种允许使用激光脉冲或标准相机来确定物体或表面的距离的已知检测技术。
[0006]第一类设备受到一些限制的影响，而第二类设备取决于用于推断深度的技术。
[0007]例如，基于结构光的传感器具有有限的范围，并且在室外环境中无效；而LiDAR虽然非常受欢迎但只能提供极其稀疏的深度测量，并且当其遇到反射性表面时可能具有缺陷。
[0008]相反，基于标准相机的被动传感器潜在地允许在任何环境和应用场景中获得密集深度的估计。
[0009]可以通过不同的方法从一个或多个图像开始获得对图像中的深度的估计(甚至“深度”)。最常见的情况或方法(但肯定不是唯一的)通过使用两个水平对齐的图像表示。
[0010]在这种称为立体的配置中，一旦对于场景的每个点，已经计算了其在参考图像中的坐标(例如，左)和目标坐标(例如，右)之间的水平偏差，就可以通过三角测量获得深度。为了获得这个结果，有必要找到两个图像的像素之间的对应关系。这可以通过为参考图像中的每个像素考虑所有可能的匹配假设、将其与目标的像素进行比较来实现。
[0011]通过处理这两个图像(即参考图像和目标图像)，由于立体系统的特殊几何形状(即对极几何形状)，可以重构所拍摄的场景的深度。
[0012]由于这点，可以简化寻找两个图像的同源点之间的对应关系的问题。特别地，使用立体相机的标准形状，可以通过将问题从二维平面带到一维平面，来简化对这种对应关系的搜索，因为从理论上已知同源像素位于同一扫描线上。
[0013]特别地，通过构造，参考图像中的点在像素的坐标(x，y)处，在目标图像中它将在位置(x
‑
d，y)，其中d指示待估计的偏差，称为视差。
[0014]因此，具有了每个点的视差，理想情况下就可以具有图像的每个像素中的深度的精确测量。
[0015]实际上已知，立体情况下深度Z和视差D之间的关系由以下关系给出
[0016][0017]因此，根据使用场景，深度Z和视差D是完全可以互换的。
[0018]标识参考图像和目标图像中的同源像素以及计算相应视差的任务被委托给立体匹配算法。
[0019]这些算法背后的总体构思是将参考图像的每个像素与目标图像的那些像素进行比较，并且因此标识相对应的像素，从而对其在场景中的距离进行三角测量。
[0020]最简单的方法(并且因此并不总是最常用的方法)是将坐标的参考图像的像素的强度与在具有相同的高度但是移动了0和d之间的量d(该量表示所寻找的视差)的坐标处的目标图像的像素的强度进行比较。
[0021]特别地，为了计算的简单和经济，通过限定用于寻找匹配的最大范围[0:D]，将计算参考图像中的每个像素和目标图像中的可能的耦合物或匹配物(x
‑
0，y)
……
(x
‑
D，y)之间的分数。
[0022]这些分数通常被称为匹配代价。例如，相似的像素可以以低代价对应。特别地，这些可以通过相异度函数或相似度函数来获得，根据相异度函数，低代价将被分配给相似的像素，根据相似度函数，高分数将对应于相似的像素。
[0023]然而，根据所使用的特定代价函数，相似的像素可以以低代价对应。
[0024]而且，对于可以与所提出的方法一起使用的一些方法，不能以如此简单的方式限定代价，但是在任何情况下，总是有可以在不同处理阶段为任何方法识别这些代价的元表示。
[0025]通过选择目标中的对应于如上所述的最佳匹配的像素(x
‑
d，y)来确定像素的估计视差d。
[0026]通常，立体算法遵循两个主要步骤：
[0027]‑
匹配代价的初步计算；以及
[0028]‑
它们的聚集/优化，后者对于获得精确和空间一致的结果是必要的，因为初始估计只考虑局部信息，而不考虑场景的全局背景。
[0029]第一步骤可以总结为下面的伪代码，取H和W分别是图像的高度和宽度
[0030]cost_volume:
[0031]input:image L[H][W],image R[H][W][0032]output:cost_volume[H][W][D][0033]foreach i in 0...H
[0034]foreach j in 0...W
[0035]for each d in 0...D
[0036]cost_volume[i][j][d]＝cost_function(L[i][j],R[i][j
‑
d])
[0037]可能的代价函数或cost_function可以是像素强度之间的绝对差(在这种情况下是相异度函数)
[0038]cost_function(x,y)＝abs(x
‑
y)
[0039]因此，像素之间的强度方面的差越小，参考图像和目标图像的两个像素重合或相同的概率就越大。
[0040]在优化阶段(其根据算法不同而不同)之后，将例如通过遵循下面的伪代码选择视差
[0041]select_disparity:
[0042]input:cost_volume[H][W][D][0043]output:disparity[H][W][0044]foreach i in 0...H
[0045]foreach j in 0...W
[0046]disparity[i][j]＝argmin(cost_volume[i][j])
[0047]上面的arg本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于从与场景(I)相关的数字图像(R，T)中确定深度的方法，包括以下步骤：A.获取(51，61)场景(I)的至少一个数字图像(R，T)，所述数字图像(51，61)由像素矩阵(p
ij
，其中i＝1
……
W，j＝1
……
H)构成；B.获取(52，62)与所述数字图像(R，T)的所述像素(p
ij
)中的一个或多个相关的所述场景(I)的稀疏深度值(S
ij
)；C.生成(53，63)与在所述步骤A中获取的所述数字图像(R，T)的每个像素(p
ij
)相关的、与所述图像(I)的待估计的深度有相关关系的元数据，以便获得由所述数字图像(R，T)的像素(p
ij
)的集合和所述元数据的值给出的元数据卷；D.借助于在所述步骤B中获取的稀疏深度值(S
ij
)，修改(54，64)在所述步骤C中生成的、与所述数字图像(R，T)的每个像素(S
ij
)相关的、与待估计的深度有相关关系的所述元数据，以便在所述步骤C中为所述数字图像(R，T)的每个像素(p
ij
)生成的、与待估计的深度有相关关系的元数据卷(53，63)中，使与所述稀疏深度值(S
ij
)相关联的值在确定每个像素(p
ij
)和周围像素的深度中占主导地位；以及E.优化在所述步骤D中修改的所述元数据(55，65)，以便获得代表所述数字图像(R，T)的深度的图(56，66)，以用于确定所述数字图像(R，T)本身的深度。2.根据前项权利要求所述的方法，其中与所述数字图像(I)的每个像素(p
ij
)相关的、与所述图像(I)的待估计深度有相关关系的所述元数据包括相对于可能的视差数据(d
ij
，其中i＝1
……
W，j＝1
……
H，d＝0
……
)与每个或所述像素(p
ij
)相关联的匹配代价函数(cost_volume
ijd
)，并且其中所述稀疏深度数据是与所述数字图像(R，T)的一些像素(p
ij
)相关联的视差值(S
ij
)。3.根据前项权利要求所述的方法，其中匹配函数(cost_volume
ijd
)是相似度函数或相异度函数。4.根据前述权利要求中任一项所述的方法，其中在所述修改步骤D(54，64)中，与所述数字图像(R，T)的所述像素(p
ij
)中的每一个相关联的所述匹配代价函数(cost_volume
ijd
)是通过可微函数修改的，所述可微函数为与所述数字图像(R，T)的一些像素(p
ij
)相关联的所述视差值(S
ij
)的函数。5.根据前项权利要求所述的方法，其中所述匹配代价函数(cost_volume
ijd
)被修改，以便在所述匹配代价函数(cost_volume
ijd
)是相似度函数的情况下或者在通过神经网络进行元数据生成的情况下根据这个等式获得经修改的匹配代价函数：或者在所述匹配代价函数(cost_volume
ijd
)是相异度函数的情况下根据以下等式获得经修改的匹配代价函数：其中：
v
ij
是这样的函数，即，对于有所述视差值(S
ij
)的度量的每个像素(p
ij
)，v
ij
＝1，其中i＝1

【专利技术属性】
技术研发人员：达维德，
申请(专利权)人：大学之母博洛尼亚大学，
类型：发明
国别省市：