一种基于彩色图像引导的深度图像超分辨率重建方法技术

本发明专利技术提出了一种基于彩色图像引导的深度图像超分辨率重建方法，首先利用SLIC算法和深度引导的区域生长方法对彩色图像进行分割预处理，得到正确聚类的超像素区域，然后采用一种基于曲率的迭代插值(ICBI)方法对低分辨率深度图像进行初始插值，接下来结合Canny检测算子和形态学运算对深度图像进行边缘检测，将深度图像划分为平滑区域和边缘区域，在平滑区域保持ICBI方法的插值结果，在边缘区域则根据彩色图像的分割结果设置区域类型权重函数，并结合空间距离权重函数和颜色相似权重函数，构建联合三边滤波算法，通过一种渐进的多步超分辨率结构，采用2

【技术实现步骤摘要】
一种基于彩色图像引导的深度图像超分辨率重建方法


[0001]本专利技术涉及涉及一种深度图像的处理方法，尤其涉及一种基于彩色图像引导的深度图像超分辨率重建方法。

技术介绍

[0002]深度图像是获取真实场景结构的必要信息，反映了场景中的物体与相机成像平面之间的距离，且不受目标物体颜色、纹理等外界因素的影响，在三维场景重建、虚拟现实、3D电影等各类计算机视觉应用中起到关键作用。然而深度相机获取的深度图像通常分辨率较低，限制了深度图像的应用。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。
[0003]考虑到深度相机通常能够同时获取同场景的高分辨率彩色图像，而且同场景的深度图像与彩色图像存在着相似的边缘结构信息，以彩色图像作为参考图像来引导深度图像的超分辨率重建，将彩色图像的结构信息传递到深度图像中，能够进一步提升重建后的高分辨率深度图像的质量。
[0004]传统的彩色图像引导的深度图像超分辨率重建方法主要分为两类：
[0005](1)基于滤波的方法。这类方法主要利用深度图像中的深度邻域关系，在重建过程中引入彩色图像的信息进而完成深度图像的超分辨率重建。
[0006](1)基于优化的方法。这类方法主要根据彩色图像与深度图像之间的结构相似性来设计相应的优化函数来重建高分辨率深度图像。
[0007]近年来，这两类深度图像超分辨率重建方法都在不断改进，但由于彩色图像与深度图像的结构不一致性导致的纹理复制问题仍是不可忽视的，同时，深度图像的重建结果对几何结构真实性要求高，尤其强调重建边缘精度，这也是目前深度图像超分辨率重建领域所面临的考验。

技术实现思路

[0008]针对现有技术的不足，本专利技术提出了一种基于彩色图像引导的深度图像超分辨率重建方法，能够有效避免因颜色与深度的不一致性而产生的纹理复制现象，同时保持良好的边缘信息,提升计算效率，提升重建后的深度图质量。
[0009]本专利技术为了实现上述目的具体采用以下技术方案：
[0010]一种基于彩色图像引导的深度图像超分辨率重建方法，具体实现步骤如下：
[0011]步骤1:获取同一场景的高分辨率彩色图像C
H
和低分辨率深度图像D
L
；
[0012]步骤2:采用SLIC(简单线性迭代聚类)算法对高分辨率彩色图像进行粗略的分割处理，得到超像素结果；
[0013]步骤3:根据预设的分割阈值，判断超像素区域是否正确聚类，利用深度引导的区域生长准则对错误聚类区域进一步聚类分割，并将无种子区域合并到相邻的符合条件的正确聚类区域中；
[0014]步骤4：采用一种基于曲率的迭代插值(ICBI)方法，对低分辨率深度图像D
L
进行初始插值上采样；
[0015]步骤5：针对由ICBI插值得到的中间上采样深度图像，结合Canny检测算子和形态学运算对深度图像进行边缘检测，进而将深度图像划分为平滑区域和边缘区域，在平滑区域的待插值点直接采用由ICBI插值方法得到的深度值；
[0016]步骤6:对于边缘区域，根据彩色图像的分割结果设置一个区域类型权重函数，并结合空间距离权重函数和颜色相似权重函数，构建联合三边滤波算法，通过一种渐进的多步超分辨率结构，即采用2
×
的超分辨率尺度进行逐步插值，对低分辨率深度图像进行插值重建，最终获得高分辨率深度图像。
[0017]进一步地，所述步骤2的实现方式如下：
[0018]步骤2.1，输入一幅大小为p
×
q的高分辨率彩色图像C
H
，像素总数为N，根据预期的超像素数M，均匀地将M个像素作为M个超像素区域初始的聚类中心，相邻初始化聚类中心的距离为
[0019]步骤2.2，在聚类中心点的3*3矩形窗口内计算所有像素点的灰度梯度值，重新选择具有最小梯度值的像素点作为聚类中心。
[0020]步骤2.3，计算每个中心像素点与其位于2S*2S搜索区域中的邻域像素点之间的距离D，将每个像素将划分到与其距离最近的超像素中心所属的超像素块中。
[0021]步骤2.4，所有的像素被划分完成后，通过将同一个超像素区域的像素点取均值来更新M个超像素中心，不断迭代，直到每个像素点的聚类中心不再发生变化，最终得到M个超像素区域S＝{S1,S2,...，S
m
}。
[0022]进一步地，所述步骤3的实现方式如下：
[0023]步骤3.1，首先按照深度引导的划分标准对所有区域划分类型。将低分辨率深度图D
L
映射到高分辨率网格中，得到高分辨率稀疏深度图D
S
，并通过双三次插值得到高分辨率初始上采样深度图D0，根据超像素区域内有深度值的种子点集合将区域分为三种类型：无种子区域，正确聚类区域和错误聚类区域。
[0024]步骤3.2，在种子点中选择与平均深度值有最大差值的点作为初始生长点p'，将p'的8个邻域像素放入待分析的邻域像素列表r中，暂时存储当前生长子区域Ω中的邻域像素，在r中选择与其颜色最接近子区域Ω的平均颜色的像素点作为下一个生长点。
[0025]步骤3.3，在深度值的引导下设置区域生长准则，设置深度条件，颜色条件和边缘条件，判断当前生长点r
′
是否能够合并到生长子区域Ω中，同时满足三个条件时，子区域Ω将继续生长，将当前生长点r
′
合并到区域Ω中，并从列表r中移除，直到不满足条件时，子区域Ω的生长结束，将区域Ω与区域S
m
分离，进入下一个错误聚类区域进行区域生长。
[0026]步骤3.4，对所有错误聚类区域都完成区域生长分割后，将没有深度值的无种子区域S
t
合并到与该区域的颜色平均值之差最小的相邻正确聚类区域中，直到所有区域都是正确聚类区域时，区域合并结束，为每个超像素区域分配对应的标签H。
[0027]进一步地，所述步骤4的实现方式如下：
[0028]步骤4.1，将原始像素点(i,j)放入到放大网格的位置(2i,2j)中，在网格中对没有深度值的像素进行插值，使深度图像的分辨率每次增加一倍。对于奇数值索引位置(2i+1,
2j+1)的像素，使用8个邻域像素计算沿两个对角线方向的二阶导数和的局部近似，表达式如下：
[0029][0030][0031]则位置(2i+1,2j+1)处的插值表达式如下：
[0032][0033]通过在二阶导数较低的方向上对像素点(2i+1,2j+1)的两个相对邻域求取平均值来获得位置(2i+1,2j+1)处新的像素值。对于剩余的待插值像素点，用同样的方法，计算二阶导数在水平方向和垂直方向上的近似。
[0034]步骤4.2，对每个插值后的像素点设置能量函数，通过最小化图像强度的二阶导数的局部变化来更像素点的深度值，使能量函数最小化。能量函数中的曲率连续项表达式如下：
[0035]J
c
...

【技术保护点】

【技术特征摘要】
1.一种基于彩色图像引导的深度图像超分辨率重建方法，其特征在于，包括如下步骤：步骤1:获取同一场景的高分辨率彩色图像C
H
和低分辨率深度图像D
L
；步骤2:采用SLIC(简单线性迭代聚类)算法对高分辨率彩色图像进行粗略的分割处理，得到超像素结果；步骤3:根据预设的分割阈值，判断超像素区域是否正确聚类，利用深度引导的区域生长准则对错误聚类区域进一步聚类分割，并将无种子区域合并到相邻的符合条件的正确聚类区域中；步骤4：采用一种基于曲率的迭代插值(ICBI)方法，对低分辨率深度图像D
L
进行初始插值上采样；步骤5：针对由ICBI插值得到的中间上采样深度图像，结合Canny检测算子和形态学运算对深度图像进行边缘检测，进而将深度图像划分为平滑区域和边缘区域，在平滑区域的待插值点直接采用由ICBI插值方法得到的深度值；步骤6:对于边缘区域，根据彩色图像的分割结果设置一个区域类型权重函数，并结合空间距离权重函数和颜色相似权重函数，构建联合三边滤波算法，通过一种渐进的多步超分辨率结构，即采用2
×
的超分辨率尺度进行逐步插值，对低分辨率深度图像进行插值重建，最终获得高分辨率深度图像。2.根据权利要求1所述的一种基于彩色图像引导的深度图像超分辨率重建方法，其特征在于：所述步骤2的具体实现方式如下，步骤2.1，输入一幅大小为p
×
q的高分辨率彩色图像C
H
，像素总数为N，将该图像从RGB空间转换到CIELAB空间。这是因为Lab颜色与人类的视觉生理更加紧密，仅与颜色属性有关，而与设备无关。然后将3个颜色通道[l，a，b]和像素坐标[x，y]组合到一起，形成一个5
‑
D向量空间[l，a，b，x，y]。初始的超像素聚类中心由给定的初始超像素数M决定,相邻初始化聚类中心的距离通过来计算。步骤2.2，在聚类中心点的3*3矩形窗口内计算所有像素点的灰度梯度值，重新选择具有最小梯度值的像素点作为聚类中心，这样能够避免超像素中心落在噪声点或轮廓边界上，以免影响后续的聚类效果。步骤2.3，将计算每个中心像素点与其位于2S*2S搜索区域中的邻域像素点之间的距离：D是中心像素p与其邻域中一点q之间的距离，D
c
和D
s
分别表示颜色和空间距离，l，a和b通道的强度受到限制，但彩色图像大小不受限制，因此，如果图像尺寸相对较大，则在距离计算过程中会引入过多的空间距离，为了控制空间距离的比例，使用比例常数g(取值范围[1，40]),D
c
和D
s
的计算公式如下：
根据计算出的距离，每个像素将被划分到与其距离最近的超像素中心所属的超像素区域中。步骤2.4，所有的像素被划分完成后，通过将同一个超像素区域的像素点取均值来更新M个超像素中心，不断迭代，直到每个像素点的聚类中心不再发生变化，一般次数达到10次时停止。最终得到M个超像素区域S＝{S1,S2,...，S
m
}。3.根据权利要求1所述的一种基于彩色图像引导的深度图像超分辨率重建方法，其特征在于：所述步骤3的具体实现方式如下，步骤3.1，首先按照划分标准对所有区域划分类型。将低分辨率深度图D
L
映射到高分辨率网格中，得到高分辨率稀疏深度图D
S
，此外，对D
L
进行双三次插值，得到高分辨率初始上采样深度图D0，将有深度值的种子点从当前超像素区域S
m
中分离出来，公式如下：中分离出来，公式如下：是有深度值的种子点集合，k是区域S
m
中的像素点，如果是非空集合，将超像素区域分为三种类型：无种子区域，正确聚类区域和错误聚类区域。τ
k
是预设的阈值，K
d
是种子点k的深度值，K
min
表示当前区域中种子点的最小深度值。T(S
m
)＝1表示正确聚类区域，即当前区域S
m
有种子点且任意种子点与最小深度值的差值均小于τ
k
，T(S
m
)＝2表示无种子区域，T(S
m
)＝3表示错误聚类区域。步骤3.2，在种子点中选择初始生长点。此处选择与平均深度值有最大差值的点作为初始生长点p'，公式如下：将初始生长点p'的8个邻域像素放入待分析的邻域像素列表r中，暂时存储当前生长子区域Ω中的邻域像素，在r中选择与其颜色最接近子区域Ω的平均颜色的像素点作为下一个生长点，公式如下：其中C(r)是列表r中像素点的l，a，b通道之和。步骤3.3，在深度引导下设置区域生长准则，判断当前生长点r
′
是否能够合并到生长子区域Ω中，深度条件，颜色条件和边缘条件如下：
q∈ψ
Ω
表示生长子区域Ω中的像素点，深度条件表示若当前生长点r
′
的深度值与q的最小深度差值不大于预设的深度阈值τ
d
，生长继续。其中，τ
d
根据经验设置。颜色条件表示当前生长点与区域Ω的颜色平均值之差不大于颜色阈值τ
c
，则生长继续。其中，τ
c
依据超像素区域S
m
中所有像素点的颜色值与平均颜色值之差再取平均值来设置。边缘条件的含义如下：利用Canny边缘检测算子计算D0的边缘信息，得到二值图像E，则处于非边缘地带的像素点在E中的值为0。同时满足以上三个条件时，子区域Ω生长继续，将当前生长点r
′
合并到生长子区域Ω中，并从列表r中移除。直到不满足条件时，子区域Ω的生长结束，将区域Ω与区域S
m
分离，进入下一个错误聚类区域进行区域生长。步骤3.4，对所有错误聚类区域都完成区域生长分割后，将没有深度值的无种子区域S
t
合并到与其相邻的正确聚类区域中，S
t
周围的超像素区域为根据以下颜色条件，将无种子区域S
t
合并到符合条件的正确聚类区域中。执行上述过程，直到所有区域都是正确聚类区域时，区域合并结束，为每个超像素区域分配对应的标签H。4.根据权利要求1所述的一种基于彩色图像引导的深度图像超分辨率重建方法，其特征在于：所述步骤4的具体实现方式如下，步骤4.1，将原始像素点(i,j)放入到放大网格的位置(2i,2j)中，在网格中对没有深度值的像素进行插值，使深度图像的分辨率每次增加一倍。对于奇数值索引位置(2i+1,2j+1)的像素，使用8个邻域像素计算沿两个对角线方向的二阶导数和的局部近似，表达式如下：的局部近似，表达式如下：则位置(2i+1,2j+1)处的插值表达式如下：通过在二阶导数较低的方向上对像素点(2i+1,2j+1)的两个相对邻域求取平均值来获得位置(2i+1,2j+1)处新的像素值。对于剩余的待插值像素点，用同样的方法，计算二阶导
数在水平方向和垂直方向上的近似。步骤4.2，对每个插值后的像素点设置能量函数，通过最小化图像强度的二阶导数的局部变化来更像素点的深度值，使能量函数最小化。能量函数中的曲率连续项表达式如下：J
c
(2i+1,2j+1)＝α1(|(F
11
(2i,2j)
‑
F
11
(2i...

【专利技术属性】
技术研发人员：赵美馥，王宇，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：