深度图的空洞修复方法、电子设备及存储介质技术

本发明专利技术实施例涉及图像处理领域，公开了一种深度图的空洞修复方法、电子设备及存储介质。本发明专利技术的实施例中，深度图的空洞修复方法包括以下步骤：获取空洞的预设方向上的有效深度值，以及获取有效深度值的权重；其中，有效深度值的权重根据有效深度值对应的像素与空洞的距离确定；根据有效深度值和有效深度值的权重，修复空洞。该实施例能够减少空洞修复的空间成本和时间成本。间成本和时间成本。间成本和时间成本。

【技术实现步骤摘要】
深度图的空洞修复方法、电子设备及存储介质


[0001]本专利技术实施例涉及图像处理领域，特别涉及一种深度图的空洞修复方法、电子设备及存储介质。

技术介绍

[0002]随着计算机的算力以及立体视觉的发展，人们开始对融合三维(即深度信息)的应用展开关注。例如，测绘领域的结构化实体三维技术、机器视觉领域的人脸识别技术、同步定位与地图绘制技术。深度信息的质量对于这些技术的效果表现起到决定性的作用。而空洞修复是一种有效提升深度信息质量的手段。
[0003]然而，专利技术人发现现有技术中常用的空洞修复方法是结合彩色图对深度图中的空洞进行修复。该修复方法需要引入彩色图，增加空间成本与时间成本。

技术实现思路

[0004]本专利技术实施方式的目的在于提供一种深度图的空洞修复方法、电子设备及存储介质，能够减少空洞修复的空间成本和时间成本。
[0005]为解决上述技术问题，本专利技术的实施方式提供了一种深度图的空洞修复方法，包括以下步骤：获取空洞的预设方向上的有效深度值，以及获取有效深度值的权重；其中，有效深度值的权重根据有效深度值对应的像素与空洞的距离确定；根据有效深度值和有效深度值的权重，修复空洞。
[0006]本专利技术的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式提及的深度图的空洞修复方法。
[0007]本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的深度图的空洞修复方法。
[0008]本专利技术实施方式相对于现有技术而言，基于空洞的预设方向上的有效深度值和有效深度值的权重，即可完成对空洞进行修复，相对于需要引入彩色图的空洞修复方法，无需额外获取彩色图，无需对彩色图进行分割，减少了空洞修复的空间成本和时间成本。无需将彩色图和深度图进行对齐，避免了对齐过程中的映射误差导致对空洞修复效果的影响。空洞修复过程中，结合有效深度值对应的像素和空洞的距离确定权重，使得修复结果更为准确。
[0009]另外，有效深度值为以空洞为起点，以第一预设值为搜索臂长，在预设方向上搜索到的第一个有效深度值；获取有效深度值的权重，包括：获取各有效深度值对应的像素与空洞的距离；根据各有效深度值对应的像素与空洞的距离，以及第一预设值，计算各有效深度值的权重。
[0010]另外，根据各有效深度值对应的像素与空洞的距离，以及第一预设值，计算各有效
深度值的权重，包括：按照公式a，计算有效深度值的权重；
[0011][0012]公式a中，Q
i
表示第i个有效深度值的权重，K1表示第一预设值，Li表示第i个有效深度值对应的像素与空洞的距离，N表示搜索到的有效深度值的个数。
[0013]另外，在获取空洞的预设方向上的有效深度值，以及获取有效深度值的权重之前，空洞修复方法还包括：将像素的深度值与像素第一方向的相邻像素的深度值进行比较，得到第一比较结果；将像素的深度值与像素第二方向的相邻像素的深度值进行比较，得到第二比较结果；根据第一比较结果和第二比较结果，更新像素的第一区域号；基于深度图中第一区域号与像素更新后的第一区域号相同的其他像素的个数，确定像素的第一区域面积；其中，各像素的第一区域号的初始值为0；根据各像素的第一区域面积，确定各像素的最终区域面积；若像素的最终区域面积小于第二预设值，则将像素的深度值更新为0。该实施例中，通过将与周围的深度值存在较大差异的深度值清零，可以将与实际深度值差异较大的深度值作为噪声去除，提炼更多真实的空洞区域，减少噪声对其他使用深度图的应用产生影响。
[0014]另外，根据各像素的第一区域面积，确定各像素的最终区域面积，包括：将像素的深度值与像素第三方向的相邻像素的深度值进行比较，得到第三比较结果；根据第二比较结果和第三比较结果，更新像素的第二区域号；基于深度图中第二区域号与像素更新后的第二区域号相同的其他像素的个数，确定像素的第二区域面积；将像素的深度值与像素第四方向的相邻像素的深度值进行比较，得到第四比较结果；根据第三比较结果和第四比较结果，更新像素的第三区域号；基于深度图中第三区域号与像素更新后的第三区域号相同的其他像素的个数，确定像素的第三区域面积；根据第四比较结果和第一比较结果，更新像素的第四区域号；基于深度图中第四区域号与像素更新后的第四区域号相同的其他像素的个数，确定像素的第四区域面积；将像素的第一区域面积、像素的第二区域面积、像素的第三区域面积和像素的第四区域面积中的最大值，作为像素的最终区域面积；其中，各像素的第二区域号、第三区域号和第四区域号的初始值均为0；第一方向、第二方向、第三方向和第四方向为不同方向。
[0015]另外，在将像素的深度值与像素第一方向的相邻像素的深度值进行比较，得到第一比较结果之前，深度图的空洞修复方法还包括：确定像素的深度值不为0。该实施例使得可以跳过空洞检索噪声，提高了计算效率。
[0016]另外，在获取空洞的预设方向上的有效深度值，以及获取有效深度值的权重之前，空洞修复方法还包括：计算像素的深度值与像素第五方向的相邻像素的深度值的绝对差值d1，以及像素的深度值与像素第六方向的相邻像素的深度值的绝对差值d2，并基于d1和d2的大小，更新像素的第五区域号；基于深度图中第五区域号与像素更新后的第五区域号相同的其他像素的个数，确定像素的第五区域面积；根据深度图中各像素更新后的第五区域面积，确定深度图的空洞。
[0017]另外，基于d1和d2的大小，更新像素的第五区域号，包括：若d1＜第三预设值，d2≥第三预设值，则将像素的第五区域号更新为像素第五方向的相邻像素的第五区域号；若d1≥第三预设值，d2＜第三预设值，则将像素的第五区域号更新为像素第六方向的相邻像素
的第五区域号；若d1＜第三预设值，d2＜第三预设值，且，像素第五方向的相邻像素的第五区域面积≥像素第六方向的相邻像素的第五区域面积，则将像素的第五区域号更新为像素第五方向的相邻像素的第五区域号；若d1＜第三预设值，d2＜第三预设值，且，像素第五方向的相邻像素的第五区域面积＜像素第六方向的相邻像素的第五区域面积，则将像素的第五区域号更新为像素第六方向的相邻像素的第五区域号；若d1≥第三预设值，d2≥第三预设值，则将像素的第五区域号更新为当前最大的第五区域号加1。
[0018]另外，预设方向包括：0
°
方向、45
°
方向、90
°
方向、135
°
方向、180
°
方向、225
°
方向、270
°
方向和315
°
方向中的任意组合。该实施例中，结合空洞周围的多个方向上的有效深度值对空洞进行修复，为空洞赋予更平滑、更准确的深度值。
附图说明
[0019]一个或多个实施例通过与之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图的空洞修复方法，其特征在于，包括：获取空洞的预设方向上的有效深度值，以及获取所述有效深度值的权重；其中，所述有效深度值的权重根据所述有效深度值对应的像素与所述空洞的距离确定；根据所述有效深度值和所述有效深度值的权重，修复所述空洞。2.根据权利要求1所述深度图的空洞修复方法，其特征在于，所述有效深度值为以所述空洞为起点，以第一预设值为搜索臂长，在所述预设方向上搜索到的第一个有效深度值；所述获取所述有效深度值的权重，包括：获取各所述有效深度值对应的像素与所述空洞的距离；根据各所述有效深度值对应的像素与所述空洞的距离，以及所述第一预设值，计算各所述有效深度值的权重。3.根据权利要求2所述的深度图的空洞修复方法，其特征在于，所述根据各所述有效深度值对应的像素与所述空洞的距离，以及所述第一预设值，计算各所述有效深度值的权重，包括：按照公式a，计算所述有效深度值的权重；公式a中，Q
i
表示第i个有效深度值的权重，K1表示第一预设值，Li表示第i个有效深度值对应的像素与所述空洞的距离，N表示搜索到的有效深度值的个数。4.根据权利要求1所述的深度图的空洞修复方法，其特征在于，在所述获取空洞的预设方向上的有效深度值，以及获取所述有效深度值的权重之前，所述空洞修复方法还包括：将所述像素的深度值与所述像素第一方向的相邻像素的深度值进行比较，得到第一比较结果；将所述像素的深度值与所述像素第二方向的相邻像素的深度值进行比较，得到第二比较结果；根据所述第一比较结果和所述第二比较结果，更新所述像素的第一区域号；基于所述深度图中第一区域号与所述像素更新后的第一区域号相同的其他像素的个数，确定所述像素的第一区域面积；其中，各所述像素的第一区域号的初始值为0；根据各所述像素的第一区域面积，确定各所述像素的最终区域面积；若所述像素的最终区域面积小于第二预设值，则将所述像素的深度值更新为0。5.根据权利要求4所述的深度图的空洞修复方法，其特征在于，所述根据各所述像素的第一区域面积，确定各所述像素的最终区域面积，包括：将所述像素的深度值与所述像素第三方向的相邻像素的深度值进行比较，得到第三比较结果；根据所述第二比较结果和第三比较结果，更新所述像素的第二区域号；基于所述深度图中第二区域号与所述像素更新后的第二区域号相同的其他像素的个数，确定所述像素的第二区域面积；将所述像素的深度值与所述像素第四方向的相邻像素的深度值进行比较，得到第四比较结果；根据所述第三比较结果和第四比较结果，更新所述像素的第三区域号；基于所述深度图中第三区域号与所述像素更新后的第三区域号相同的其他像素的个数，确定所述像素的第三区域面积；根据所述第四比较结果和第一比较结果，更新所述像素的第四区域号；基于所述深度
图...

【专利技术属性】
技术研发人员：刘祺昌，户磊，王海彬，化雪诚，李东洋，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：