基于分组混合的两阶段实时双目深度估计方法及装置制造方法及图纸

本说明书实施例提供了一种基于分组混合的两阶段实时双目深度估计方法及装置，其中，方法包括：对原始输入图像进行特征提取，获得相对于原始输入图像1/4和1/8分辨率的特征图；使用1/8分辨率的特征图构建分组距离代价量，得到聚合后的匹配代价量，进一步得到第一阶段视差图；将1/8分辨率的粗估计视差图放大成1/4分辨率视差图，构建分组相关代价量，生成1/4分辨率精估计的视差图，并进一步得到第二阶段视差图；基于第一阶段视差图和第二阶段视差图，使用Adam优化器对损失函数进行模型优化，得到优化模型，使用TensorRT优化器对优化模型的网络层进行推理加速。络层进行推理加速。络层进行推理加速。

【技术实现步骤摘要】
基于分组混合的两阶段实时双目深度估计方法及装置


[0001]本文件涉及计算机
，尤其涉及一种基于分组混合的两阶段实时双目深度估计方法、装置、电子设备及存储介质。

技术介绍

[0002]双目深度估计算法广泛应用于机器人导航、增强现实、智能城市和自动驾驶等领域。因此，准确和快速的双目深度估计算法对于资源受限的嵌入式平台具有重要的意义。近年来，随着深度卷积神经网络不断创新，基于深度卷积网络的双目深度估计算法在精度方面得到显著提升。然而，目前高精度的双目深度估计算法通常存在高计算代价、高功耗和高延迟等问题，这使得现有的算法难以在资源受限的嵌入式平台上进行实时地部署。
[0003]双目深度估计算法的步骤主要包括：特征提取、构建代价量、代价聚合和视差回归。其中特征提取、构建代价量和代价聚合这三个步骤对网络的精度和推理速度起着决定性作用。对于特征提取步骤，已有方法主要采用U
‑
Net网络进行提取立体输入图像的特征。具体地，该网络是一种对称的特征编码和特征解码架构，可以同时输出不同尺寸的特征图。然而，U
‑
Net的编码过程中往往会丢失一些重要的特征信息。对于构建代价量步骤，已有方法主要采用全距离、全相关和分组相关代价量来计算匹配代价。具体地，全距离为每个视差级别生成一个单通道距离图，全相关为每个视差级别生成一个单通道相关图。由于全距离和全相关只生成一个单通道距离图和相关图，因此会丢失很多特征信息。分组相关将左右特征划分为若干组，然后逐组计算相关图，这可以获得多个代价匹配方案，最后将该匹配方案合并成一个分组相关量。尽管分组相关保留了更多的特征信息，但是仍然难以快速提供很好的相似度测量。对于代价聚合步骤，已有方法主要采用堆叠的沙漏模型与中间监督相结合去调整匹配代价量。具体地，该方法是一种编码器
‑
解码器的架构，结合中间监督进行重复的由精到粗再由粗到精的处理。但是，由于堆叠沙漏模型由许多三维卷积层组成，计算量较为复杂，因此无法满足在资源受限的嵌入式设备上进行实时地部署。
[0004]为了减少代价聚合步骤的计算复杂度，已有方法采用由粗到精的逐级细化策略来进行深度估计。具体地，该方法先利用低尺寸的特征图进行构建匹配代价量，得到一个粗估计的视差图，随后该视差图通过双线性插值进行上采样，在高尺寸下使用较小的视差偏移量进行校正上一阶段粗估计的视差结果。该方法能够明显减少代价聚合步骤的计算复杂度，但是使用低尺寸的特征图进行构建代价量，难以获得的高精度的视差估计结果。此外，为了进一步提高视差估计的结果，已有方法使用多阶段由粗到精的策略进行视差估计。但是随着操作级数的不断变大，该方法的计算时间会明显增加。综上所述，已有的算法仍难以满足在资源受限的嵌入式平台上实时生成高精度的视差图，因此目前需要解决的问题就是如何在资源受限的嵌入式平台上实时获得高精度的视差估计结果。

技术实现思路

[0005]本专利技术的目的在于提供一种基于分组混合的两阶段实时双目深度估计方法、装
置、电子设备及存储介质，旨在解决现有技术中的上述问题。
[0006]本专利技术提供一种基于分组混合的两阶段实时双目深度估计方法，包括：
[0007]利用基于切块卷积的特征提取器对原始输入图像进行特征提取，获得相对于原始输入图像1/4和1/8分辨率的特征图；
[0008]使用1/8分辨率的特征图构建分组距离代价量，通过轻量化的代价聚合网络对所述分组距离代价量进行正则化处理，得到聚合后的匹配代价量，将聚合后的匹配代价量通过视差回归生成1/8分辨率的粗估计视差图，并通过双线性插值上采样成全尺寸，得到第一阶段视差图；
[0009]将所述1/8分辨率的粗估计视差图放大成1/4分辨率视差图，根据所述1/4分辨率视差图和左图特征进行动态偏移量构建分组相关代价量，将所述分组相关代价量通过代价聚合网络和视差回归获得一个残差图，将所述残差图添加到放大的1/4分辨率视差图中，生成1/4分辨率精估计的视差图，并通过双线性插值上采样成全尺寸，得到第二阶段视差图；
[0010]基于第一阶段视差图和第二阶段视差图，使用Adam优化器对损失函数进行模型优化，得到优化模型，使用TensorRT优化器对优化模型的网络层进行推理加速。
[0011]本专利技术提供一种基于分组混合的两阶段实时双目深度估计装置，包括：
[0012]提取模块，用于利用基于切块卷积的特征提取器对原始输入图像进行特征提取，获得相对于原始输入图像1/4和1/8分辨率的特征图；
[0013]第一阶段视差图模块，用于使用1/8分辨率的特征图构建分组距离代价量，通过轻量化的代价聚合网络对所述分组距离代价量进行正则化处理，得到聚合后的匹配代价量，将聚合后的匹配代价量通过视差回归生成1/8分辨率的粗估计视差图，并通过双线性插值上采样成全尺寸，得到第一阶段视差图；
[0014]第二阶段视差图模块，用于将所述1/8分辨率的粗估计视差图放大成1/4分辨率视差图，根据所述1/4分辨率视差图和左图特征进行动态偏移量构建分组相关代价量，将所述分组相关代价量通过代价聚合网络和视差回归获得一个残差图，将所述残差图添加到放大的1/4分辨率视差图中，生成1/4分辨率精估计的视差图，并通过双线性插值上采样成全尺寸，得到第二阶段视差图；
[0015]优化推理模块，用于基于第一阶段视差图和第二阶段视差图，使用Adam优化器对损失函数进行模型优化，得到优化模型，使用TensorRT优化器对优化模型的网络层进行推理加速。
[0016]本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于分组混合的两阶段实时双目深度估计方法的步骤。
[0017]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于分组混合的两阶段实时双目深度估计方法的步骤。
[0018]采用本专利技术实施例，与现有技术相比至少具有以下有益效果：
[0019](1)在特征提取的步骤中，本专利技术实施例提出了一种基于切块卷积的特征提取器，使用连续的切块卷积进行下采样。对比于现有技术，本专利技术使用切块卷积进行下采样，可以保留更多的特征信息。
[0020](2)在代价量构建的步骤中，本专利技术实施例提出了距离
‑
相关分组混合的两阶段方法来构建代价量，距离
‑
相关分组代价量为每个视差级别生成多通道距离图和相关图。对比于现有技术，这样的策略能够融合更多的特征通道信息，提供更好的相似度测量。
[0021](3)在代价聚合的步骤中，本专利技术实施例提出了一种轻量化的三维代价聚合网络，每个阶段只使用四个5
×5×
5的三维卷积层进行优化距离
‑
相关分组代价量。对比于现有技术，本专利技术代价聚合的计算代价比较小，并且5
×5×
5的三维卷积具有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分组混合的两阶段实时双目深度估计方法，其特征在于，包括：利用基于切块卷积的特征提取器对原始输入图像进行特征提取，获得相对于原始输入图像1/4和1/8分辨率的特征图；使用1/8分辨率的特征图构建分组距离代价量，通过轻量化的代价聚合网络对所述分组距离代价量进行正则化处理，得到聚合后的匹配代价量，将聚合后的匹配代价量通过视差回归生成1/8分辨率的粗估计视差图，并通过双线性插值上采样成全尺寸，得到第一阶段视差图；将所述1/8分辨率的粗估计视差图放大成1/4分辨率视差图，根据所述1/4分辨率视差图和左图特征进行动态偏移量构建分组相关代价量，将所述分组相关代价量通过代价聚合网络和视差回归获得一个残差图，将所述残差图添加到放大的1/4分辨率视差图中，生成1/4分辨率精估计的视差图，并通过双线性插值上采样成全尺寸，得到第二阶段视差图；基于第一阶段视差图和第二阶段视差图，使用Adam优化器对损失函数进行模型优化，得到优化模型，使用TensorRT优化器对优化模型的网络层进行推理加速。2.根据权利要求1所述的方法，其特征在于，利用基于切块卷积的特征提取器对原始输入图像进行特征提取，获得相对于原始输入图像1/4和1/8分辨率的特征图具体包括：利用基于切块卷积的特征提取器，首先使用切块卷积将原始输入图像逐级下采样到1/2分辨率、1/4分辨率和1/8分辨率，然后对1/4分辨率和1/8分辨率的特征实施深程度的特征提取，，获得相对于原始输入图像1/4和1/8分辨率的特征图。3.根据权利要求1所述的方法，其特征在于，使用1/8分辨率的特征图构建分组距离代价量具体包括：根据公式1，使用1/8分辨率的特征图构建分组距离代价量：其中||
·
‑
·
||1表示计算两个特征之间的L1距离，C
gwd
表示输入图片中像素点相似度的分组距离代价值，d表示视差，x和y表示特征向量，g表示特征组的编号，f
l
和f
r
分别表示左图特征和右图特征。4.根据权利要求1所述的方法，其特征在于，根据所述1/4分辨率视差图和左图特征进行动态偏移量构建分组相关代价量具体包括：基于公式2，根据所述1/4分辨率视差图和左图特征进行动态偏移量构建分组相关代价量：其中，<
·
，
·
>表示计算两个特征之间的内积，C
gwc
表示输入图片中像素点相似度的分组相关代价值，d表示视差，x和y表示特征向量，，g表示特征组的编号，f
l
和f
r
分别表示左图特征和右图特征。5.根据权利要求1所述的方法，其特征在于，所述轻量化的代价聚合网络包括：四个卷积核大小为5
×5×
5的三维卷积层，其中，，第一个5
×5×
5的三维卷积用于提高成本量的维度，第二个和第三个5
...

【专利技术属性】
技术研发人员：杨红，梁必发，黄锦皓，刘成，
申请(专利权)人：广州大学，
类型：发明
国别省市：