基于金字塔加速的深度恢复方法、电子设备及存储介质技术

本发明专利技术实施例涉及图像处理领域，公开了一种基于金字塔加速的深度恢复方法、电子设备及存储介质，其中方法包括：对预处理后的物体散斑图和参考散斑图进行一层下采样；对下采样得到的物体金字塔层中与多个候选种子点对应的映射点，在参考金字塔层中进行视差搜索，确定每个映射点对应的最优的多个第一视差值；对每个候选种子点，根据相应各第一视差值所确定的视差搜索范围进行视差搜索，确定该候选种子点是否为种子点，并获取种子点的第二视差值；利用种子点及其第二视差值，采用区域增长方法确定物体散斑图与参考散斑图的视差值；基于视差值恢复深度信息。本方案能够有效解决现有金字塔中底层与上层视差不一致的问题，同时加速深度恢复进程。度恢复进程。度恢复进程。

【技术实现步骤摘要】
基于金字塔加速的深度恢复方法、电子设备及存储介质


[0001]本专利技术涉及图像处理领域，特别涉及一种基于金字塔加速的深度恢复方法、电子设备及存储介质。

技术介绍

[0002]目前，机器视觉领域中最具活力的技术分支当属深度感知技术，而散斑结构光技术则是深度感知技术中的重要部分。散斑结构光技术作为最常见主动式立体视觉的技术，在人脸识别、自动驾驶、安防监控等领域具有广泛应用。散斑结构光系统，是通过向被拍摄物体投射伪随机散斑，然后根据特定的算法进行散斑的特征匹配得到视差信息，进一步获取场景的深度信息。
[0003]但是，暴力的散斑匹配的计算量和耗时是很大的。目前，业内采取了多种不同的技术来处理该问题。例如：使用图像二值化方法，匹配时用汉明(Hamming)距离作相似度测度，这很大地节省了计算量和耗时，但是这种方法的精度普遍比不上图像局部灰度归一化(Local Contrast Normalization，LCN)和零均值归一化互相关(Zero
‑
based Normalized Cross Correlation，ZNCC)测度的方法；或者，通过某种方式预估深度的大致范围，从而将视差搜索范围进一步地缩小，但在实现减少耗时地同时也受到其业务使用的限制；或者，使用神经网络的方法，但是也受到训练所需数据量的限制和模型大小的内存限制，并且黑盒不易解释。
[0004]除了上述的方法外，现有技术还提出了一种使用影像金字塔的方法，通过将影像金字塔缩小至多层小分辨率，然后对每层进行图像LCN预处理和视差匹配，在对下一层完成视差匹配后，根据匹配得到的视差值再于上层分辨率作小范围的视差搜索，依次上升直至完成最大分辨率图像的视差搜索。虽然该方法也能极大减少视差搜索的计算量，但是由于在原物体散斑图上作金字塔多层采样，再作图像预处理，一则金字塔的每一层都要进行采样和预处理，耗时也不少，二则结果表明即使对金字塔影像作预处理，仍然会存在小分辨率层和大分辨率层视差匹配结果不一致的结果。这些缺点在金字塔层数过多、分辨率很小时更为明显，因为金字塔层数过高，最底层至上层的视差一致的可能性就越小，并且计算量并不会比原算法低很多。

技术实现思路

[0005]本专利技术实施方式的目的在于提供一种基于金字塔加速的深度恢复方法、电子设备及存储介质，能够有效解决基于金字塔的深度恢复过程中底层至上层的视差不一致的问题，同时降低匹配过程的计算量，加速深度恢复进程。
[0006]为解决上述技术问题，本专利技术的实施方式提供了一种基于金字塔加速的深度恢复方法，包括：
[0007]对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；
[0008]对所述物体金字塔层中与所述物体散斑图的多个候选种子点对应的映射点，在所述参考金字塔层中进行视差搜索，确定每个所述映射点对应的匹配代价值最优的多个第一视差值；
[0009]对每个所述候选种子点，根据相应各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取所述种子点的第二视差值；
[0010]利用所述种子点及其第二视差值，采用区域增长方法确定所述物体散斑图与所述参考散斑图的视差值；
[0011]基于所述物体散斑图与所述参考散斑图的视差值恢复深度信息。
[0012]本专利技术的实施方式还提供了一种电子设备，包括：
[0013]至少一个处理器；以及，
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于金字塔加速的深度恢复方法。
[0016]本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于金字塔加速的深度恢复方法。
[0017]本专利技术实施方式相对于现有技术而言，通过对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；对物体金字塔层中与物体散斑图的多个候选种子点对应的映射点，在参考金字塔层中进行视差搜索，确定每个映射点对应的匹配代价值最优的多个第一视差值；对每个候选种子点，根据相应各第一视差值所确定的视差搜索范围，在参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取种子点的第二视差值；利用种子点及其第二视差值，采用区域增长方法确定物体散斑图与参考散斑图的视差值；基于物体散斑图与参考散斑图的视差值恢复深度信息。本方案通过将预处理方法置在金字塔方法之前、选定金字塔层数为2、存储金字塔层中每个映射点的多个最佳匹配视差，以及选择多个候选种子实现区域生长算法，以解决现有基于金字塔的深度恢复过程中底层至上层的视差不一致的问题，同时降低匹配过程的计算量，加速深度恢复进程。
附图说明
[0018]图1是根据本专利技术实施方式的基于金字塔加速的深度恢复方法的具体流程图一；
[0019]图2是根据本专利技术实施方式的候选种子点选择方式图；
[0020]图3是根据本专利技术实施方式的三角测量原理计算深度的示意图；
[0021]图4是根据本专利技术实施方式的基于金字塔加速的深度恢复方法的具体流程图二；
[0022]图5是根据本专利技术实施方式的基于金字塔加速的深度恢复方法的具体流程图三；
[0023]图6是根据本专利技术实施方式的电子设备的结构示意图。
具体实施方式
[0024]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术
的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0025]本专利技术的一实施方式涉及一种基于金字塔加速的深度恢复方法，如图1所示，本实施例提供的基于金字塔加速的深度恢复方法，包括如下步骤。
[0026]步骤101：对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层。
[0027]具体地，可通过结构光相机(简称“相机”)拍摄目标物体的散斑图，作为物体散斑图；参考散斑图为已知距离的平面散斑图。对物体散斑图、参考散斑图进行预处理，以提高散斑点的明暗对比度和亮度均衡的效果。
[0028]在一个例子中，对物体散斑图和参考散斑图进行预处理，可包括：对物体散斑图和参考散斑图依次进行局部灰度归一化和阴影处理。
[0029]具体地，采用局部灰度归一化(Local Contrast Normalization，LCN)，分别对物体散斑图和参考散斑图上坐标为(i,j)的像素点P，其灰度值为G(i,j)，取以点P为中心的邻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于金字塔加速的深度恢复方法，其特征在于，包括：对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层；对所述物体金字塔层中与所述物体散斑图的多个候选种子点对应的映射点，在所述参考金字塔层中进行视差搜索，确定每个所述映射点对应的匹配代价值最优的多个第一视差值；对每个所述候选种子点，根据相应各所述第一视差值所确定的视差搜索范围，在所述参考散斑图中进行视差搜索，并基于各视差搜索范围内确定的匹配代价值，确定该候选种子点是否为种子点，并获取所述种子点的第二视差值；利用所述种子点及其第二视差值，采用区域增长方法确定所述物体散斑图与所述参考散斑图的视差值；基于所述物体散斑图与所述参考散斑图的视差值恢复深度信息。2.根据权利要求1所述的方法，其特征在于，对物体散斑图和参考散斑图进行预处理，包括：对所述物体散斑图和所述参考散斑图依次进行局部灰度归一化和阴影处理。3.根据权利要求2所述的方法，其特征在于，所述对预处理后的物体散斑图和参考散斑图进行一层下采样，得到对应的物体金字塔层和参考金字塔层，包括：分别对预处理后的所述物体散斑图和所述参考散斑图，通过如下公式进行一层下采样，得到对应的所述物体金字塔层和所述参考金字塔层：G
p
(i,j)＝(G
’
p
(2i,2j)+G
’
p
(2i+1,2j)+G
’
p
(2i,2j+1)+G
’
p
(2i+1,2j+1))>>2其中，G
p
(i,j)为下采样后的图像中像素点(i,j)的灰度值，G
’
p
(i,j)为下采样前的图像中像素点(i,j)的灰度值，>>为右移算符。4.根据权利要求1所述的方法，其特征在于，所述对所述物体金字塔层中与所述物体散斑图的多个候选种子点对应的映射点，在所述参考金字塔层中进行视差搜索，确定每个所述映射点对应的匹配代价值最优的多个第一视差值，包括：确定所述物体金字塔层上映射点坐标(x,y)和对应的所述参考金字塔层上坐标(x+d,y)；其中d为预设区间内的多个整数值；利用邻域窗口，采用如下公式计算所述映射点坐标(x,y)与所述坐标(x+d,y)的匹配代价值C
d
(x,y)：其中，所述邻域大小为(2n+1)*(2m+1)，I
w
为所述物体金字塔层，I
c
为所述参考金字塔层，I
w
(x+i,y+j)为所述物体金字塔层上坐标(x+i,y+j)位置的灰度值，I
c
(x+i+d,y+j)为所述物体金字塔层上坐标(x+i+d,y+j)位置的灰度值，d为估算的视差值；针对每个所述映射点坐标(x,y)，将所述匹配代价值C<...

【专利技术属性】
技术研发人员：李东洋，化雪诚，王海彬，刘祺昌，户磊，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：