基于置信度分级及级间融合增强的深度估计方法及系统技术方案

本公开涉及场景深度估计技术领域，提出了基于置信度分级及级间融合增强的深度估计方法及系统，包括：根据深度估计难度进行像素分级；按照像素分级，针对每一分级提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，解码后得到目标帧对应的深度图。本公开通过分级利用上一阶段容易且准确的区域像素深度值对下一阶段困难且易错的区域像素深度估计进行辅助，从而提高了深度估计的准确度和质量。深度估计的准确度和质量。深度估计的准确度和质量。

【技术实现步骤摘要】
基于置信度分级及级间融合增强的深度估计方法及系统


[0001]本公开涉及场景深度估计相关
，具体的说，是涉及基于置信度分级及级间融合增强的深度估计方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]相对于二维视觉，三维视觉感知可以提供场景的深度信息，在众多视觉任务中具有广泛的应用前景，如自动驾驶、三维重建和增强现实等，因此基于单目视频的深度估计方法受到广泛关注。随着深度学习的发展，目前存在较多的基于单目视频的深度估计方法，包括以真值深度图为目标的有监督学习方法和以视频运动生成结构为目标的自监督学习方法，本公开主要针对以视频运动生成结构为目标的自监督学习方法。
[0004]专利技术人发现，目前已有的单目深度估计网络均无差异的看待视频场景中的不同物体像素点，不能充分发挥不同像素间的辅助作用，影响深度估计的质量，而事实上，单目视频目标帧中的场景内容不同，网络对不同物体的深度估计难易度也不同。比如，对于物体边界处，利用源帧重建目标帧产生监督信号时，因为特征明显，两者之间匹配较为容易，进而深度估计容易且准确，而对于平滑表面，比如马路，因其为弱纹理区域，特征较少，两帧之间匹配较为困难，其深度估计相对困难且容易错。因此现有的深度估计方法犹豫采用无差异的深度估计，使得场景中深度估计困难的区域估计相对困难且容易出错，降低了场景估计的质量。

技术实现思路

[0005]本公开为了解决上述问题，提出了基于置信度分级及级间融合增强的深度估计方法及系统，按照物体深度估计的难易度实现像素分级，并且利用上一阶段容易且准确的区域像素深度值对下一阶段困难且易错的区域像素深度估计进行辅助，从而提高了深度估计的准确度和质量。
[0006]为了实现上述目的，本公开采用如下技术方案：
[0007]一个或多个实施例提供了基于置信度分级及级间融合增强的深度估计方法，包括如下步骤：
[0008]根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；
[0009]按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；
[0010]将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；
[0011]将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，然后解码后得到目标帧对应的深度图。
[0012]一个或多个实施例提供了基于置信度分级及级间融合增强的深度估计系统，包括：
[0013]分级模块：被配置为用于根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；
[0014]分级提取模块：被配置为用于按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；
[0015]增强信息叠加模块：被配置为用于将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；
[0016]增强以及深度图提取模块：被配置为用于将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，然后解码后得到目标帧对应的深度图。
[0017]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
[0018]与现有技术相比，本公开的有益效果为：
[0019]本公开中，通过将深度估计按照像素级分类，首先识别容易识别的区域，提取容易识别区域的置信度图作为增强信息对目标帧图像进行增强，能够通过准确的区域像素深度值对下一阶段困难且易错的区域像素深度估计进行辅助，降低了弱纹理区域，特征较少深度估计困难区域的深度提取难度，提高图像深度估计的准确性。
[0020]本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
[0021]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0022]图1是本公开实施例1的基于空域信息的自监督深度估计网络框图；
[0023]图2是本公开实施例1的按照像素难易度分级及不同级间辅助融合深度估计网络结构示意图；
[0024]图3是本公开实施例1的估计方法流程图；
具体实施方式
[0025]下面结合附图与实施例对本公开作进一步说明。
[0026]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0027]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0028]实施例1
[0029]在一个或多个实施方式公开的技术方案中，如图1
‑
图3所示，基于置信度分级及级间融合增强的深度估计方法，包括如下步骤：
[0030]步骤1、根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；
[0031]步骤2、按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；
[0032]步骤3、基于置信度的传播和融合实现级间特征信息的增强：将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；
[0033]步骤4、将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，然后解码后得到目标帧对应的深度图。
[0034]本实施例中，通过将深度估计按照像素级分类，首先识别容易识别的区域，提取容易识别区域的置信度图作为增强信息对目标帧图像进行增强，能够通过准确的区域像素深度值对下一阶段困难且易错的区域像素深度估计进行辅助，降低了弱纹理区域，特征较少深度估计困难区域的深度提取难度，提高图像深度估计的准确性。
[0035]本实施例中，按照深度估计从易到难进行像素分级具体的可以为：角点、边缘以及其他区域；或者，可以分为边缘及其他区域，该分类方法可以针对于没有角点的物体，如球状物体。本实施例中，针本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于置信度分级及级间融合增强的深度估计方法，其特征在于，包括如下步骤：根据待检测目标帧场景中区域的深度估计难度从易到难，进行像素分级；按照像素分级，针对每一分级对应的区域分别进行深度估计，提取每一级像素区域的深度图以及对应每一级像素区域的置信度图；将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息；将级间特征增强信息及待检测的目标帧图像作为训练后的深度估计网络的输入进行编码，然后解码后得到目标帧对应的深度图。2.如权利要求1所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：针对不同分级像素区域，分别设置对应每一级的深度图提取网络，并分别分级进行训练得到针对该区域特征的深度图提取网络，每一级的深度图提取网络采用相同的自监督深度估计网络。3.如权利要求2所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：自监督深度估计网络包括深度估计网络和姿态变换网络：深度估计网络：用于估计目标帧的深度图；姿态变换网络：用于预测相机姿态，用于提供自监督信号；或者，姿态变换网络包括以残差网络为核心的特征提取网络，以及多个级联的卷积层；或者，深度估计网络具体为基于编码器
‑
解码器结构，包括深度编码器和深度解码器，以及上采样模块，上采样模块连接深度编码器每一级以及深度解码器的每一级。4.如权利要求1所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于，解码的方法，包括如下过程：将编码后得到的深度特征，按照特征通道数将浅层特征逐级拼接到上采样之后的深层特征上；通过卷积块完成空域深度信息的多尺度特征融合：通过卷积层和Sigmoid激活函数逐级解码拼接的深度特征获得多尺度的深度图；将多尺度的深度图，通过双边线性插值到与输入图像相同尺寸的深度图，在输入目标帧图像尺寸上完成目标帧的重建，得到输入目标帧图像对应的深度图；或者，将各个级的深度图与置信度图拼接并逐级叠加后得到级间融合置信度图，包括如下步骤：步骤31、将第一像素级深度图以及置信度图拼接得到第一中间置信度图；步骤32、第一中间置信度图与第二像素级像素区域的置信度图拼接融合，得到级间融合置信度图；步骤33、将第二像素级深度图与级间融合置信度图拼接得到第二中间置信度图；步骤34、第二中间置信度图与第三像素级像素区域的置信度图拼接融合，根据融合结果更新级间融合置信度图；按照步骤33
‑
34依次累加下一像素级的深度图和置信度图，直到将最后一级的像素区域的深度图与级间融合置信度图进行特征提取，作为级间特征增强信息。5.如权利要求1所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：按照深度估计从易到难进行像素分级，具体分为角点、边缘以及其他区域，针对角点区域设
置第一级角点区域深度估计网络，用于提取目标帧图像中的角点区域的深度值；针对边缘区域设置第二级边缘区域深度估计网络，用于提取目标帧图像中的边缘区域的深度值；设置第三级帧图像整体识别深度估计网络，用于对帧图像所有区域进行深度估计。6.如权利要求5所述的基于置信度分级及级间融合增强的深度估计方法，其特征在于：对第一级角点区域深度估计网络训练的损失函数为光学重建误差L
p
、边缘光滑损失函数L
s
以及针对角点区域深度估计的加权损失函数L
C
的加权和；或者，对第二级边缘区域深度估计网络进行训练的损失函数为：光学重建误差L
p
、边缘光滑损失函数L
s
以及针对边缘深度进行监督的损失函数L
E
的加权和。7.如权利要求5所述的基于置信度分级...

【专利技术属性】
技术研发人员：李帅，徐宏伟，高艳博，周华松，元辉，蔡珣，
申请(专利权)人：山东大学威海工业技术研究院，
类型：发明
国别省市：