自适应深度转尺寸卷积的自监督单目深度估计方法及系统技术方案

本公开涉及图像处理技术领域，提出了一种自适应深度转尺寸卷积的自监督单目深度估计方法及系统，通过自适应深度转尺寸卷积获取的特征解决了视频不同帧之间不同深度下尺度模糊的问题，基于场景深度与目标尺度之间的关系，显式处理视频连续帧由于场景深度变化而导致物体大小变化，提高了场景结构提取的准确度，基于尺寸信息的特征融合模块DcS

【技术实现步骤摘要】
自适应深度转尺寸卷积的自监督单目深度估计方法及系统


[0001]本公开涉及图像处理相关
，具体的说，是涉及一种自适应深度转尺寸卷积的自监督单目深度估计方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]深度估计是三维视觉中一项基础而重要的任务，获得的高质量深度图可以提供有用的场景信息来辅助包括增强现实、自动驾驶和三维重建在内的等各种高级任务。随着深度学习的发展，基于深度学习的单目深度估计逐渐兴起，并受到学术界和工业界的广泛关注，其主要分为以真值深度图为目标的有监督学习方法和以视图合成重建误差为目标的自监督学习方法，本公开主要针对以基于单目视频的自监督深度估计方法。
[0004]专利技术人在研究中发现，对于使用移动摄像机捕获的连续视频帧，物体的大小会不断变化。现有的单目深度估计方法只是使用固定尺寸卷积和固定尺度处理的卷积网络来处理不同尺寸的物体，不可避免地影响了场景结构的提取。并且，仅仅通过自适应深度转尺寸卷积获取的特征虽然解决了视频不同帧之间不同深度下尺度模糊的问题，但是忽略了同一传统卷积尺度下帧内不同物体的特征所包含的场景的重要信息。

技术实现思路

[0005]本公开为了解决上述问题，提出了一种自适应深度转尺寸卷积的自监督单目深度估计方法及系统，能够准确提取图像的深度图。
[0006]为了实现上述目的，本公开采用如下技术方案：
[0007]一个或多个实施例提供了一种自适应深度转尺寸卷积的自监督单目深度估计方法，包括如下步骤：
[0008]获取待预测当前帧图像；
[0009]基于多级编码器对当前帧图像进行多级编码得到多尺度特征，将每一级编码特征传输至对应级数的解码器中进行解码；
[0010]通过第一个解码器得到第一级深度图，第二级以及以上的解码器替换为深度转尺寸特征解码模块，接收上一级解码器的解码输出特征图与本级的编码器传输的编码特征图，进行卷积核随图像深度值自适应变化的深度转尺寸卷积，以及基于尺寸信息的特征融合，生成对应分辨率的深度图；
[0011]最后一级深度转尺寸特征解码模块输出的深度图即为对当前帧图像进行预测得到的深度图。
[0012]一个或多个实施例提供了一种自适应深度转尺寸卷积的自监督单目深度估计系统，包括：
[0013]图像获取模块，用于获取待预测当前帧图像；
[0014]多级编码单元，用于对当前帧图像进行多级编码得到多尺度特征，将每一级编码特征传输至对应级数的解码器中进行解码；
[0015]多级解码单元，用于通过第一个解码器得到第一级深度图，第二级以及以上的解码器替换为深度转尺寸特征解码模块，接收上一级解码器的解码输出特征图与本级的编码器传输的编码特征图，进行卷积核随图像深度值自适应变化的深度转尺寸卷积，以及基于尺寸信息的特征融合，生成对应分辨率的深度图；
[0016]深度图输出单元，通过最后一级深度转尺寸特征解码模块输出的深度图，即为对当前帧图像进行预测得到的深度图。
[0017]与现有技术相比，本公开的有益效果为：
[0018]本公开通过自适应深度转尺寸卷积获取的特征解决了视频不同帧之间不同深度下尺度模糊的问题，基于场景深度与目标尺度之间的关系，显式处理视频连续帧由于场景深度变化而导致物体大小变化，提高了场景结构提取的准确度，基于尺寸信息的特征融合模块DcS
‑
F来高效融合自适应尺寸特征和传统卷积特征，提取了同一卷积尺度下帧内不同物体的特征中包含场景的重要信息，进一步提高了深度图估计的准确度。
[0019]本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
[0020]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0021]图1是本公开实施例1的物体大小与场景深度关系图；
[0022]图2是本公开实施例1的多尺度特征尺寸感知融合图；
[0023]图3是本公开实施例1的自适应深度转尺寸卷积效果图；
[0024]图4是本公开实施例1的基于尺寸信息的特征融合模块图；
[0025]图5是本公开实施例1的自监督单目深度估计网络整体框架图；
[0026]图6是本公开实施例1的深度转尺寸特征解码模块图。
具体实施方式
[0027]下面结合附图与实施例对本公开作进一步说明。
[0028]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0029]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0030]实施例1
[0031]在一个或多个实施方式公开的技术方案中，如图1至图6所示，一种自适应深度转
尺寸卷积的自监督单目深度估计方法，首先说明自适应深度转尺寸卷积的自监督单目深度估计网络的改进过程，如下：
[0032]步骤1、根据不同物体的场景深度值，自适应调整卷积核的感受野，构建深度转尺寸卷积模块，以固定的尺度提取传统卷积特征，并通过场景深度产生自适应卷积特征；
[0033]步骤2、构建包含多注意力的基于尺寸信息的特征融合模块DcS
‑
F，根据输入图像的尺寸差异图，融合自适应卷积特征和传统卷积特征；
[0034]步骤3、将深度转尺寸卷积模块与基于尺寸信息的特征融合模块级联，构建深度转尺寸特征解码模块，将级联后的网络作为深度转尺寸特征解码模块的处理模块；
[0035]步骤4、将深度转尺寸特征解码模块作为自监督单目深度估计网络的解码器，用于对目标帧图像预测得到深度图。
[0036]步骤1中，首先，确定物体大小与其场景深度之间的关系。
[0037]研究物体大小与其场景深度之间的关系，为自适应深度转换尺度卷积提供理论基础。
[0038]如图1所示，在针孔相机的理想成像原理下，可以得到物体在三维场景中的实际尺寸S
r
与其在图像中的大小之间的关系S
v
：
[0039][0040]其中，D,f分别表示场景深度和相机焦距；
[0041]当物体深度从D1变成D2时，同一物体在图像平面的大小变化如下式：
[0042][0043]其中，S
v1
,S
v2
表示对应深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应深度转尺寸卷积的自监督单目深度估计方法，其特征在于，包括如下步骤：获取待预测当前帧图像；基于多级编码器对当前帧图像进行多级编码得到多尺度特征，将每一级编码特征传输至对应级数的解码器中进行解码；通过第一个解码器得到第一级深度图，第二级以及以上的解码器替换为深度转尺寸特征解码模块，接收上一级解码器的解码输出特征图与本级的编码器传输的编码特征图，进行卷积核随图像深度值自适应变化的深度转尺寸卷积，以及基于尺寸信息的特征融合，生成对应分辨率的深度图；最后一级深度转尺寸特征解码模块输出的深度图即为对当前帧图像进行预测得到的深度图。2.如权利要求1所述的一种自适应深度转尺寸卷积的自监督单目深度估计方法，其特征在于：深度转尺寸特征解码模块，包括第一处理模块、第二处理模块和第三处理模块，每个处理模块包括级联的深度转尺寸卷积模块以及基于尺寸信息的特征融合模块；深度转尺寸卷积模块，被配置为基于卷积核随图像深度值自适应变化的深度转尺寸卷积操作，得到自适应尺寸特征和传统卷积特征；基于尺寸信息的特征融合模块对卷积操作后的特征基于尺寸信息进行融合；第一处理模块，用于对上一级解码器的解码特征进行处理，包括深度转尺寸卷积模块以及标准卷积模块，以及基于尺寸信息的特征融合模块；第二处理模块用于对本级编码器输出的高分辨编码特征进行处理，包括级联的深度转尺寸卷积模块以及基于尺寸信息的特征融合模块；第三处理模块用于对第一处理模块、第二处理模块处理结果的融合，包括依次连接的拼接单元，深度转尺寸卷积模块，标准卷积模块以及基于尺寸信息的特征融合模块。3.如权利要求1或2所述的一种自适应深度转尺寸卷积的自监督单目深度估计方法，其特征在于，卷积核的自适应变化为：与图像深度值成反比例变化。4.如权利要求2所述的一种自适应深度转尺寸卷积的自监督单目深度估计方法，其特征在于，深度转尺寸卷积模块，具体为对于待处理图像针对不同图像深度设置一个卷积分支，每个卷积分支包括自适应卷积模块与标准卷积模块，针对自适应卷积模块，还设置有双线性插值采样位置确定模块，用于确定卷积过程中的采样位置；标准卷积模块，根据固定的尺度以及确定的采样位置，采用滑动窗口操作进行卷积，得到传统卷积特征；自适应卷积模块，根据物体的大小确定卷积核的大小，根据确定的采样位置对输入图像，采用滑动窗口操作进行自适应卷积，得到自适应尺寸特征。5.如权利要求2所述的一种自适应深度转尺寸卷积的自监督单目深度估计方法，其特征在于，基于尺寸信息的特征融合模块用于融合自适应尺寸特征和传统卷积特征，被配置为执行以下过程：对于待融合的自适应尺寸特征和传统卷积特征进行拼接，得到初始特征；基于尺寸信息的通道注意力块执行通道注意力操作，确定全局通道权重，对初始特征
进行增强得到通道注意增强特征；基于尺寸信息的空间注意力块，执行空间注意力操作，确定空间注意权重M
s
；基于空间注意权重对自适应尺寸特征进行增强，将自适应尺寸特征增强后的特征与传统卷积特征拼接，并通过通道注意权重进行增强，将增强后的特征连接初始特征，处理后得到最终的融合特...

【专利技术属性】
技术研发人员：李帅，周华松，高艳博，元辉，蔡珣，
申请(专利权)人：山东大学威海工业技术研究院，
类型：发明
国别省市：