一种基于自适应块的非局部均值深度图像空洞修复方法技术

本发明专利技术涉及深度图像修复技术领域，公开了一种基于自适应块的非局部均值深度图像空洞修复方法，过程包括：对彩色相机与深度相机进行标定并获取相机的内外参数，然后分别获取彩色图像和深度图像，判断连通空洞块，引入智能因子，确定各个空洞块对应的搜索块和修复块的大小，并计算各个搜索块内的非空洞点的距离权重、灰度权重和修复权重，最后根据修复权重对深度图像进行空洞修复。本发明专利技术通过引入智能块因子自动确定不同大小空洞块的最优搜索块和修复块大小来进行修复，解决了在确定搜索和修复块大小时存在的调参繁琐问题，能够兼顾运行时间的同时，实现较好的修复效果。实现较好的修复效果。实现较好的修复效果。

【技术实现步骤摘要】
一种基于自适应块的非局部均值深度图像空洞修复方法


[0001]本专利技术涉及深度图像修复
，具体是一种基于自适应块的非局部均值深度图像空洞修复方法。

技术介绍

[0002]近年来，深度相机的普及已经成为人工智能技术和计算机视觉领域的必要组成部分。随着国内外的Kinect等消费级深度相机的逐步推广，深度相机在自动驾驶、室内导航、动态物体识别、SLAM等领域得到了广泛应用。深度相机获取深度图像时由于物体的材质、镜面反射或遮挡等原因，采集到的深度数据通常会在物体与背景接触的边缘产生空洞，这些空洞以像素值为零的区域出现，这种现象造成了深度图像上对应位置形成无效数据，严重地影响着三维重建的质量。
[0003]传统的方法采用非局部均值(NLM)算法对深度图像的空洞进行修复，修复效果取决于其人为确定的搜索块与修复块的选取是否合适，若尺寸过大，会显著增加算法的运行时间，若尺寸过小，则会影响算法的修复效果。因此，亟需一种可以根据不同空洞块自动确定最优搜索和修复块大小的深度图像修复方法来提高深度图像的质量。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种基于自适应块的非局部均值深度图像空洞修复方法，用以根据不同空洞块的大小自动确定最优搜索块和修复块大小进行深度图像的修复。
[0005]为了解决上述技术问题，本专利技术提供一种基于自适应块的非局部均值深度图像空洞修复方法，包括的过程为：
[0006]S1：使用张氏标定法对彩色相机与深度相机进行标定，并获取相机的内外参数；
>[0007]S2：通过彩色相机获取彩色图像，通过深度相机获取深度图像；
[0008]S3：将彩色图像进行灰度化处理，根据透视变换矩阵实现灰度、深度图像对齐；
[0009]S4：判断连通空洞块，并确定各个空洞块对应的搜索块初始值；
[0010]S5：通过给定的阈值进一步判断搜索块与修复块的大小；
[0011]S6：计算灰度图像搜索块内各个非空洞点的距离权重与灰度权重；
[0012]S7：根据距离权重与灰度权重计算各个非空洞点的修复权重；
[0013]S8：根据修复权重对空洞点进行修复，完成对所有空洞点的修复工作后，得到修复后的深度图像。
[0014]作为本专利技术的一种基于自适应块的非局部均值深度图像空洞修复方法的改进：
[0015]所述步骤S3将彩色图像进行灰度化处理，根据透视变换矩阵实现灰度、深度图像对齐的具体方法为：
[0016]S31：将所述彩色图像转换为灰度图像；
[0017]S32：使用SURF算法在所述深度图像与灰度图像上提取对应的特征点，通过相机的
内外参数求得旋转矩阵A2×2、平移矩阵T2×1和投影矩阵V
T
：
[0018][0019]其中，θ为图形围绕坐标原点逆时针旋转的角度；a
11
为控制图像在水平方向上的缩放因子，值为cosθ；a
12
为控制图像在水平方向上的倾斜程度，值为
‑
sinθ；a
21
为控制图像在垂直方向上的倾斜程度，值为sinθ；a
22
为控制图像在垂直方向上的缩放因子，值为cosθ；
[0020][0021]其中，t
x
表示图像在水平方向上的平移量、t
y
表示图像在垂直方向上的平移量；
[0022]V
T
＝[v
1 v2]ꢀꢀ
(3)
[0023]其中，v1与v2用于模拟透视效果；
[0024]S33：透视变换矩阵H公式如下，并对灰度图像与深度图像进行对齐：
[0025][0026]其中，s表示整体的缩放因子，s＝1。
[0027]作为本专利技术的一种基于自适应块的非局部均值深度图像空洞修复方法的进一步改进：
[0028]所述步骤S4判断连通空洞块，并确定各个空洞块对应的搜索块初始值的具体方法为；
[0029]S41：对于所述深度图像，将深度值为零的像素点归为空洞点，深度值不为零的像素点归为非空洞点，并求得空洞点的连通域大小；
[0030]S42：各个空洞块对应的搜索块初始值为m1×
m1：
[0031]m1＝max{(X
r
‑
X
l
),(Y
t
‑
Y
d
)}+3
ꢀꢀ
(5)
[0032]其中X
r
与X
l
为该空洞块中各个空洞点列的最大、最小值，Y
t
与Y
d
为该空洞块中各个空洞点行的最大、最小值。
[0033]作为本专利技术的一种基于自适应块的非局部均值深度图像空洞修复方法的进一步改进：
[0034]所述步骤S5中判断搜索块与修复块的大小的具体方法为：
[0035]S51：设定搜索块A(x)的非空洞点占比阈值P＝0.6；修复块B(x)的非空洞点占比阈值Q＝0.5；
[0036]S52：智能块因子T的计算公式如下：
[0037][0038]其中，|H(p)|为目标块中所有像素点数量之和，I
k
为目标块中非空洞点；
[0039]S53：按公式(6)计算搜索块的智能块因子T1，若T1>P，则搜索块大小确定为p
×
p，否则，m1＝m1+2后再次判断T1与P的关系，直至满足T1>P，最终得到搜索块大小为p
×
p；
[0040]S54：设定修复块的初始值为m2×
m2，其中m2＝p
‑
3；
[0041]S55：按公式(6)计算修复块的智能块因子T2，若T2>Q，则修复块大小确定为q＝m2/2，否则m2＝m2+2，再次判断T2与Q的关系，直至满足T2>Q，最终得到修复块的大小为q
×
q。
[0042]作为本专利技术的一种基于自适应块的非局部均值深度图像空洞修复方法的进一步改进：
[0043]所述步骤S6中距离权重与灰度权重的计算方法为：
[0044]距离权重d(x,y)的公式为：
[0045][0046]其中σ控制指数函数的衰减速率，将σ的取值为2，||
·
||2表示x和y之间的欧氏距离；
[0047]灰度权重g(x,y)的公式为：
[0048][0049]其中，S(m
x
)和S(m
y
)分别是x和y的向量，表示高斯加权的欧氏距离，h与a的取值为2。
[0050]作为本专利技术的一种基于自适应块的非局部均值深度图像空洞修复方法的进一步改进：
[0051]步骤S7中所述修复权重的计算方法为：
[0052][0053]其中，Z1(x)是归一化常数。
[0054]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应块的非局部均值深度图像空洞修复方法，其特征在于:包括过程为：S1：使用张氏标定法对彩色相机与深度相机进行标定，并获取相机的内外参数；S2：通过彩色相机获取彩色图像，通过深度相机获取深度图像；S3：将彩色图像进行灰度化处理，根据透视变换矩阵实现灰度、深度图像对齐；S4：判断连通空洞块，并确定各个空洞块对应的搜索块初始值；S5：通过给定的阈值进一步判断搜索块与修复块的大小；S6：计算灰度图像搜索块内各个非空洞点的距离权重与灰度权重；S7：根据距离权重与灰度权重计算各个非空洞点的修复权重；S8：根据修复权重对空洞点进行修复，完成对所有空洞点的修复工作后，得到修复后的深度图像。2.根据权利要求1所述的一种基于自适应块的非局部均值深度图像空洞修复方法，其特征在于：所述步骤S3将彩色图像进行灰度化处理，根据透视变换矩阵实现灰度、深度图像对齐的具体方法为：S31：将所述彩色图像转换为灰度图像；S32：使用SURF算法在所述深度图像与灰度图像上提取对应的特征点，通过相机的内外参数求得旋转矩阵A2×2、平移矩阵T2×1和投影矩阵V
T
：其中，θ为图形围绕坐标原点逆时针旋转的角度；a
11
为控制图像在水平方向上的缩放因子，值为cosθ；a
12
为控制图像在水平方向上的倾斜程度，值为
‑
sinθ；a
21
为控制图像在垂直方向上的倾斜程度，值为sinθ；a
22
为控制图像在垂直方向上的缩放因子，值为cosθ；其中，t
x
表示图像在水平方向上的平移量、t
y
表示图像在垂直方向上的平移量；V
T
＝[v
1 v2]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，v1与v2用于模拟透视效果；S33：透视变换矩阵H公式如下，并对灰度图像与深度图像进行对齐：其中，s表示整体的缩放因子，s＝1。3.根据权利要求2所述的一种基于自适应块的非局部均值深度图像空洞修复方法，其特征在于：所述步骤S4判断连通空洞块，并确定各个空洞块对应的搜索块初始值的具体方法为；S41：对于所述深度图像，将深度值为零的像素点归为空洞点，深度值不为零的像素点归为非空洞点，并求得空洞点的连通域大小；
S42：各个空洞块对应的搜索块...

【专利技术属性】
技术研发人员：潘海鹏，赵伯虎，李乐宝，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：