图像的深度估计方法、装置、电子设备及存储介质制造方法及图纸

本申请适用于图像处理领域，提供了图像的深度估计方法、装置、电子设备及存储介质。图像的深度估计方法包括获取待处理图像，将待处理图像输入深度估计网络，得到深度估计网络输出的深度信息。深度估计网络包括编码器和解码器，编码器包括N层编码层，解码器包括N

【技术实现步骤摘要】
图像的深度估计方法、装置、电子设备及存储介质


[0001]本申请属于图像处理领域，尤其涉及图像的深度估计方法、装置、电子设备及存储介质。

技术介绍

[0002]相机拍摄的图像一般都是二维图像，丢失了图像所在场景的深度信息。从二维图像中恢复出图像的场景深度信息，有助于更好的理解场景的三维结构以及图像中物体之间的三维关系，从而更好地完成视觉任务。现有的恢复图像的场景深度信息的方法一般是通过神经网络模型进行恢复。神经网络模型包括编码器和解码器，编码器通过对图像逐级下采样的方式来增大特征图的感受野以及降低计算的开销，解码器用于从下采样的图像中恢复出具有原始图像分辨率的场景深度信息。但是目前用于深度估计的神经网络模型中，只是简单的将编码器特征与解码器特征进行混合，忽略了编码器与解码器特征图之间的语义代沟，从而降低了恢复出的场景深度信息的精度。

技术实现思路

[0003]有鉴于此，本申请实施例提供了图像的深度估计方法、装置、电子设备及存储介质，解决了恢复出的场景深度信息的精度不高的问题。
[0004]本申请实施例的第一方面提供了一种图像的深度估计方法，包括：
[0005]获取待处理图像；
[0006]将所述待处理图像输入深度估计网络，得到所述深度估计网络输出的深度信息；所述深度估计网络包括编码器和解码器，所述编码器包括N层编码层，所述解码器包括N
‑
1层解码层；每层编码层的输入图像是对所述待处理图像进行预设倍数的下采样得到的，每层解码层的输入图像是根据N层编码层的输出图像进行拼接得到的，所述深度信息根据N
‑
1层解码层的输出图像确定，N表示大于0的整数。
[0007]在一种可能的实现方式中，第N
‑
1层解码层的输入图像由第一输入图像和第二输入图像进行拼接得到，所述第一输入图像由第N层编码层的输出图像依次经过精调处理、上采样得到，所述第二输入图像由第i层编码层的输出图像依次进行2
N
‑1‑
i
倍下采样、精调处理得到，i＝0,1,2,
…
,N
‑
1，所述精调处理用于对图像的局部特征信息和全局特征信息进行拼接。
[0008]在一种可能的实现方式中，第k层解码层的输入图像由第三输入图像和第四输入图像进行拼接得到，所述第三输入图像由第k+1层解码层的输出图像依次经过精调处理、上采样得到，所述第四输入图像由第i层编码层的输出图像依次经过2
k
‑
i
倍下采样、精调处理得到，所述精调处理用于对图像的局部特征信息和全局特征信息进行拼接，k＝0,1,2,
…
,N
‑
2，k
‑
i≥0。
[0009]在一种可能的实现方式中，图像的精调处理过程包括：
[0010]提取待精调处理的图像的局部特征图，所述局部特征图包括局部特征信息；
[0011]对所述待精调处理的图像进行不重叠采样，得到互不重叠的子特征图；
[0012]根据所述子特征图确定全局特征图，所述全局特征图包括全局特征信息；
[0013]对所述待精调处理的图像、所述局部特征图、所述全局特征图进行拼接，得到精调处理后的图像。
[0014]在一种可能的实现方式中，根据所述子特征图确定全局特征图，包括：
[0015]确定与子特征图对应的特征向量；
[0016]对所述特征向量依次进行特征向量变换、线性变换、分辨率恢复、膨胀处理，得到所述全局特征图。
[0017]在一种可能的实现方式中，图像的上采样过程包括：
[0018]按照通道维度将待上采样的图像分割为第一低分辨率图像和第二低分辨率图像；
[0019]采用双线性差值方式对所述第一低分辨率图像进行上采样，得到第一高分辨率图像；
[0020]对所述第二低分辨率图像进行膨胀处理和精调处理，得到第二高分辨率图像；
[0021]对所述第一高分辨率图像和所述第二高分辨率图像进行拼接，得到上采样后的图像。
[0022]在一种可能的实现方式中，所述深度信息由第0层解码层的输出图像进行上采样得到。
[0023]本申请实施例的第二方面提供了一种图像的深度估计装置，包括：
[0024]获取模块，用于获取待处理图像；
[0025]处理模块，用于将所述待处理图像输入深度估计网络，得到所述深度估计网络输出的深度信息；所述深度估计网络包括编码器和解码器，所述编码器包括N层编码层，所述解码器包括N
‑
1层解码层；每层编码层的输入图像是对所述待处理图像进行预设倍数的下采样得到的，每层解码层的输入图像是根据N层编码层的输出图像进行拼接得到的，所述深度信息根据N
‑
1层解码层的输出图像确定，N表示大于0的整数。
[0026]本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像的深度估计方法。
[0027]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像的深度估计方法。
[0028]本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的图像的深度估计方法。
[0029]本申请实施例与现有技术相比存在的有益效果是：深度估计网络包括编码器和解码器，编码器包括N层编码层，解码器包括N
‑
1层解码层；每层编码层的输入图像是对待处理图像进行预设倍数的下采样得到的，每层解码层的输入图像是根据N层编码层的输出图像进行拼接得到的，因此，每层解码层的输入信息与N层解码层的输出信息均存在关联，从而使得每层解码层的输入信息融合了编码层的多级语义信息，进而降低了编码器和解码器的特征图之间的语义代沟。之后，再将待处理图像输入深度估计网络，根据N
‑
1层解码层的输出图像确定深度信息，提高了恢复出的场景深度信息的精度。
附图说明
[0030]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0031]图1是本申请一实施例提供的图像的深度估计方法的实现流程示意图；
[0032]图2是本申请实施例提供的深度估计网络的示意图；
[0033]图3是本申请实施例提供的精调处理函数的计算流程示意图；
[0034]图4是本申请实施例提供的上采样函数的计算流程示意图；
[0035]图5是本申请实施例提供的图像的深度估计装置示意图；
[0036]图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0037]以下描述中，为了说明而不是为了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的深度估计方法，其特征在于，包括：获取待处理图像；将所述待处理图像输入深度估计网络，得到所述深度估计网络输出的深度信息；所述深度估计网络包括编码器和解码器，所述编码器包括N层编码层，所述解码器包括N
‑
1层解码层；每层编码层的输入图像是对所述待处理图像进行预设倍数的下采样得到的，每层解码层的输入图像是根据N层编码层的输出图像进行拼接得到的，所述深度信息根据N
‑
1层解码层的输出图像确定，N表示大于0的整数。2.根据权利要求1所述的方法，其特征在于，第N
‑
1层解码层的输入图像由第一输入图像和第二输入图像进行拼接得到，所述第一输入图像由第N层编码层的输出图像依次经过精调处理、上采样得到，所述第二输入图像由第i层编码层的输出图像依次进行2
N
‑1‑
i
倍下采样、精调处理得到，i＝0,1,2,
…
,N
‑
1，所述精调处理用于对图像的局部特征信息和全局特征信息进行拼接。3.根据权利要求1所述的方法，其特征在于，第k层解码层的输入图像由第三输入图像和第四输入图像进行拼接得到，所述第三输入图像由第k+1层解码层的输出图像依次经过精调处理、上采样得到，所述第四输入图像由第i层编码层的输出图像依次经过2
k
‑
i
倍下采样、精调处理得到，所述精调处理用于对图像的局部特征信息和全局特征信息进行拼接，k＝0,1,2,
…
,N
‑
2，k
‑
i≥0。4.根据权利要求2或3所述的方法，其特征在于，图像的精调处理过程包括：提取待精调处理的图像的局部特征图，所述局部特征图包括局部特征信息；对所述待精调处理的图像进行不重叠采样，得到互不重叠的子...

【专利技术属性】
技术研发人员：程俊，王飞，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：