本申请实施例提供了一种深度图获取方法、装置、电子设备及存储介质。所述方法包括：获取目标车辆对应的单目图像和稀疏深度图像；将所述单目图像和所述稀疏深度图像输入至深度图预测模型，所述深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层；调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征；调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图；调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图。本申请实施例可以提高生成深度图的质量，有效避免低分辨率和边缘毛刺问题。率和边缘毛刺问题。率和边缘毛刺问题。
【技术实现步骤摘要】
深度图获取方法、装置、电子设备及存储介质
[0001]本申请涉及车辆控制
，尤其涉及一种深度图获取方法、装置、电子设备及存储介质。
技术介绍
[0002]单目深度补全是一项计算机视觉任务，涉及从单个RGB图像，以及给定的稀疏深度真值补全场景的深度。该任务在机器人技术、增强现实、自动驾驶和虚拟现实等领域有几个重要的应用。单目深度补全的应用包括对象跟踪、场景重建和3D建模等等。
[0003]单目深度补全是自动驾驶系统的关键组成部分，因为它使车辆能够感知环境并根据该感知做出决策。通过准确补全环境中物体的深度，该系统可以确保安全高效的驾驶。同时单目深度预测不需要雷达或者是多视角摄像机，成本最低。在简单任务上有很好的推广价值。
[0004]目前，常用的单目深度补全方法利用了深度学习模型，例如卷积神经网络(CNN)。与传统的计算机视觉方法相比，这些模型显著提高了深度补全的准确性。一种流行的单目深度补全方法是基于使用CNN预测密集深度图。这些方法通常涉及在RGB
‑
D(深度)图像的大型数据集上训练CNN，并在CNN提取的特征之上用一个像素尺度的深度回归器去回归深度，以学习RGB图像与其对应的深度图之间的关系。这些方法在NYU Depth v2和KITTI等基准数据集上取得了令人印象深刻的结果。单目深度补全的另一种方法涉及使用空间传播稀疏深度散点，并补全低分辨率的深度，然后利用双线性差值方式上采样深度成为预测深度。
[0005]现有的CNN密集回归模型因为像素与像素一一对应的关系，相同深度值对应的图像像素映射种类可能千差万别，这点阻碍了密集回归的深度预测收敛性，在训练集特别是在经过数据扩增后的训练集上拟合程度无法达到预期效果。而且，现有涉及空间传播补全低分辨率的深度中心点插值得到深度图的方式在生成的深度图质量无法达到预期效果，同时，伴随比较大边缘毛刺。
技术实现思路
[0006]本申请实施例提供一种深度图获取方法、装置、电子设备及存储介质，以解决现有技术中经过数据扩增后的训练集上拟合程度无法达到预期效果，且涉及空间传播补全低分辨率的深度中心点插值得到深度图的方式在生成的深度图质量无法达到预期效果，同时，伴随比较大边缘毛刺的问题。
[0007]为了解决上述技术问题，本申请实施例是这样实现的：
[0008]第一方面，本申请实施例提供了一种深度图获取方法，所述方法包括：
[0009]获取目标车辆对应的单目图像和稀疏深度图像；
[0010]将所述单目图像和所述稀疏深度图像输入至深度图预测模型，所述深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层；
[0011]调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏
深度图像的稀疏深度图像特征；
[0012]调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图；
[0013]调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图。
[0014]可选地，所述深度图预测模型还包括：图像切分层和位置嵌入层，
[0015]在所述调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征之前，还包括：
[0016]调用所述图像切分层对所述单目图像进行切分处理，得到所述单目图像对应的切分图像；
[0017]调用所述位置嵌入层根据所述切分图像对应的位置信息，生成所述切分图像对应的位置向量，并将所述位置向量嵌入所述切分图像，得到切分图像单元。
[0018]可选地，所述调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，包括：
[0019]调用所述特征提取层提取所述切分图像单元的多个尺度的切分图像特征；
[0020]根据所述切分图像特征和所述切分图像单元对应的位置向量，得到所述单目图像对应的多个尺度的单目图像特征。
[0021]可选地，所述特征聚合层包括：自注意力模块和聚合模块，
[0022]所述调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图，包括：
[0023]调用所述自注意力模块分别对每个尺度的所述单目图像特征进行处理，得到注意力特征；
[0024]调用所述聚合模块对多个所述注意力特征进行聚合处理，输出所述聚合特征图。
[0025]可选地，所述单目引导的降噪层包括：单目条件去噪模块和深度图输出模块，
[0026]所述调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图，包括：
[0027]调用所述单目条件去噪模块根据所述聚合特征图对深度隐变量进行迭代优化处理，得到优化深度隐变量；
[0028]调用所述深度图输出模块对所述优化深度隐变量和所述聚合特征图进行处理，得到所述预测深度图。
[0029]第二方面，本申请实施例提供了一种深度图获取装置，所述装置包括：
[0030]单目图像获取模块，用于获取目标车辆对应的单目图像和稀疏深度图像；
[0031]单目图像输入模块，用于将所述单目图像和所述稀疏深度图像输入至深度图预测模型，所述深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层；
[0032]特征提取模块，用于调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征；
[0033]聚合特征图获取模块，用于调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图；
[0034]预测深度图获取模块，用于调用所述单目引导的降噪层对所述聚合特征图进行降
噪处理，得到所述目标车辆对应的预测深度图。
[0035]可选地，所述深度图预测模型还包括：图像切分层和位置嵌入层，
[0036]所述装置还包括：
[0037]切分图像获取模块，用于调用所述图像切分层对所述单目图像进行切分处理，得到所述单目图像对应的切分图像；
[0038]切分图像单元获取模块，用于调用所述位置嵌入层根据所述切分图像对应的位置信息，生成所述切分图像对应的位置向量，并将所述位置向量嵌入所述切分图像，得到切分图像单元。
[0039]可选地，所述特征提取模块包括：
[0040]切分图像特征提取单元，用于调用所述特征提取层提取所述切分图像单元的多个尺度的切分图像特征；
[0041]单目图像特征获取单元，用于根据所述切分图像特征和所述切分图像单元对应的位置向量，得到所述单目图像对应的多个尺度的单目图像特征。
[0042]可选地，所述特征聚合层包括：自注意力模块和聚合模块，
[0043]所述聚合特征图获取模块包括：
[0044]注意力特征获取单元，用于调用所述自注意力模块分别对每个尺度的所述单目本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度图获取方法，其特征在于，所述方法包括：获取目标车辆对应的单目图像和稀疏深度图像；将所述单目图像和所述稀疏深度图像输入至深度图预测模型，所述深度图预测模型包括：特征提取层、特征聚合层和单目引导的降噪层；调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征；调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图；调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图。2.根据权利要求1所述的方法，其特征在于，所述深度图预测模型还包括：图像切分层和位置嵌入层，在所述调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，及所述稀疏深度图像的稀疏深度图像特征之前，还包括：调用所述图像切分层对所述单目图像进行切分处理，得到所述单目图像对应的切分图像；调用所述位置嵌入层根据所述切分图像对应的位置信息，生成所述切分图像对应的位置向量，并将所述位置向量嵌入所述切分图像，得到切分图像单元。3.根据权利要求2所述的方法，其特征在于，所述调用所述特征提取层提取所述单目图像的多个尺度的单目图像特征，包括：调用所述特征提取层提取所述切分图像单元的多个尺度的切分图像特征；根据所述切分图像特征和所述切分图像单元对应的位置向量，得到所述单目图像对应的多个尺度的单目图像特征。4.根据权利要求1所述的方法，其特征在于，所述特征聚合层包括：自注意力模块和聚合模块，所述调用所述特征聚合层对每个尺度的所述单目图像特征分别与所述稀疏深度图像特征进行聚合处理，得到聚合特征图，包括：调用所述自注意力模块分别对每个尺度的所述单目图像特征进行处理，得到注意力特征；调用所述聚合模块对多个所述注意力特征进行聚合处理，输出所述聚合特征图。5.根据权利要求1所述的方法，其特征在于，所述单目引导的降噪层包括：单目条件去噪模块和深度图输出模块，所述调用所述单目引导的降噪层对所述聚合特征图进行降噪处理，得到所述目标车辆对应的预测深度图，包括：调用所述单目条件去噪模块根据所述聚合特征图对深度隐变量进行迭代优化处理，得到优化深度隐变量；调用所述深度图输出模块对所述优化深度隐变量和所述聚合特征图进行处理，得到所述预测深度图。6.一种深度图获取装置，其特征在于，所述装置包括：
单目图像获取模块，用于获取目标车辆对应的单目图像和稀疏深度图像；单目图像输入模块，用于将所述单目图像和所述稀疏深度图像输入至深度图...
【专利技术属性】
技术研发人员：段逸群，国显达，朱政，都大龙，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。