【技术实现步骤摘要】
深度信息补全模型训练方法、装置、设备以及存储介质
[0001]本申请实施例涉及计算机
,具体涉及计算机视觉、深度学习、自动驾驶等人工智能
,尤其涉及深度信息补全模型训练方法、装置、设备以及存储介质。
技术介绍
[0002]深度图像可以应用于三维物体检测、场景三维重建等。目前,高精度深度传感器可以用于采集深度图像,如雷达设备。常用的雷达设备有16线、32线及64线等。然而,这些雷达设备采集的深度图像非常稀疏,严重限制了相关应用的效果。因此,需要先对采集到的稀疏的深度图像进行深度信息补全。
[0003]目前,深度信息补全主要采用基于插值的实现方式。具体地,以稀疏的深度图像为输入,使用非线性插值方式,如最近邻插值(Nearest Neighbor interpolation)、双三次多项式插值(bi
‑
cubic interpolation)或双线性插值(bilinear interpolation)等,是以稀疏深度点为基础插值出稠密的深度图像。
技术实现思路
[0004]本申请实施例提出了深度信息补全模型训练方法、装置、设备以及存储介质。
[0005]第一方面,本申请实施例提出了一种深度信息补全模型训练方法,包括:获取训练数据,其中,训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像;将第一稀疏深度图像和第一彩色图像作为输入,将第一稠密深度图像作为输出,训练得到深度信息补全模型,其中,在训练过程中,先对分别从第一稀疏深度图像和第一彩色图像 ...
【技术保护点】
【技术特征摘要】
1.一种深度信息补全模型训练方法,包括:获取训练数据,其中,所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像;将所述第一稀疏深度图像和所述第一彩色图像作为输入,将所述第一稠密深度图像作为输出,训练得到深度信息补全模型,其中,在训练过程中,先对分别从所述第一稀疏深度图像和所述第一彩色图像中提取的特征进行特征融合,再进行特征增强。2.根据权利要求1所述的方法,其中,所述深度信息补全模型包括K个基本训练单元,K为正整数;以及所述将所述第一稀疏深度图像和所述第一彩色图像作为输入,将所述第一稠密深度图像作为输出,训练得到深度信息补全模型,包括:将输入深度图像和所述第一彩色图像输入当前基本训练单元,得到当前深度图像,将当前深度图像和所述第一彩色图像输入下一个基本训练单元,经过K阶段训练,输出最终深度图像,其中,若当前基本训练单元是第一个基本训练单元,输入深度图像是所述第一稀疏深度图像,若当前基本训练单元不是第一个基本训练单元,输入深度图像是上一个基本训练单元输出的深度图像;基于所述K个基本训练单元输出的深度图像与所述第一稠密深度图像之间的残差,调整所述K个基本训练单元的参数。3.根据权利要求2所述的方法,其中,所述基本训练单元包括编码模块、特征增强模块和解码模块,所述编码模块包括多个卷积层,用于分别对输入深度图像和所述第一彩色图像进行特征提取,所述特征增强模块用于对输入深度图像和所述第一彩色图像的融合特征进行特征增强,所述解码模型包括与所述编码模块数量相同的卷积层,是所述编码模块的逆向操作,所述基本训练单元将所述解码模块的输出与输入深度图像加和后输出。4.根据权利要求3所述的方法,其中,所述特征增强模块用于通道级特征增强和像素级特征增强,以及通道级特征和像素级特征融合。5.根据权利要求4所述的方法,其中,所述特征增强模块的通道级特征增强步骤包括:对于特征F(c
×
w
×
h),通过卷积和矩阵变维操作,得到特征Q
c
(c
×
(h*w))和特征H
c
((h*w)
×
c),其中,c是通道数,w是宽、h是高;将所述特征Q
c
(c
×
(h*w))和所述特征H
c
((h*w)
×
c)进行矩阵乘法操作,得到矩阵M
c
(c
×
c);对所述矩阵M
c
(c
×
c)进行回归操作,得到权重M
c
′
(c
×
c);对所述特征F(c
×
w
×
h)进行卷积操作,得到特征F
c
′
(c
×
w
×
h);通过所述权重M
c
′
(c
×
c)和所述特征F
c
′
(c
×
w
×
h)进行矩阵乘法操作,得到增强特征F
h
(c
×
w
×
h);对所述增强特征F
h
(c
×
w
×
h)与所述特征F
c
′
(c
×
w
×
h)进行像素级加法,得到通道级增强特征F
c
(c
×
w
×
h)。6.根据权利要求5所述的方法,其中,所述特征增强模块的像素级特征增强步骤包括:对于特征F(c
×
w
×
h),通过卷积和矩阵变维操作,得到特征Q
p
((h*w)
×
c)和特征H
p
(c
×
(h*w)),其中,c是通道数,w是宽、h是高;将所述特征Q
p
((h*w)
×
c)和所述特征H
p
(c
×
(h*w))进行矩阵乘法操作,得到矩阵M
p
((h*w)
×
(h*w));对所述矩阵M
p
((h*w)
×
(h*w))进行回归操作,得到权重M
p
′
((h*w)
×
(h*w));对所述特征F(c
×
w
×
h)进行卷积操作,得到特征F
p
′
(c
×
w
×
h);通过所述权重Mp
′
((h*w)
×
(h*w))和所述特征F
p
′
(c
×
w
×
h)进行矩阵乘法操作,得到增强特征F
h
′
(c
×
w
×
h);对所述增强特征F
h
′
(c
×
w
×
h)与所述特征F
p
′
(c
×
w
×
h)进行像素级加法,得到像素级增强特征F
p
(c
×
w
×
h)。7.根据权利要求6所述的方法,其中,所述特征增强模块的特征融合步骤包括:基于可学习的参数,将所述通道级增强特征F
c
(c
×
w
×
h)和所述像素级增强特征F
p
(c
×
w
×
h)融合,得到融合特征。8.根据权利要求1
‑
7之一所述的方法,其中,所述方法还包括:获取测试数据,其中,所述测试数据包括第二稀疏深度图像、对应的第二彩色图像和对应的第二稠密深度图像;将所述第二稀疏深度图像和所述第二彩色图像输入到所述深度信息补全模型,得到补全稠密深度图像;计算所述补全稠密深度图像与所述第二稠密深度图像之间的残差,以及在残差大于预设阈值的情况下,优化所述深度信息补全模型。9.根据权利要求8所述的方法,其中,优化所述深度信息补全模型的方式包括以下至少一项:增加基本训练单元的数量、增加训练次数、增加训练数据。10.根据权利要求1
‑
7之一所述的方法,其中,所述获取训练数据,包括:获取所述第一稠密深度图像和所述第一彩色图像;对所述第一稠密深度图像进行随机采样,生成所述第一稀疏深度图像。11.根据权利要求1
‑
7之一所述的方法,其中,所述获取训练数据,包括:获取所述第一稀疏深度图像和所述第一彩色图像;将所述第一稀疏深度图像中的临近的多帧投影为一帧,生成所述第一稠密深度图像。12.一种深度信息补全模型训练装置,包括:训练数据获取模块,被配置成获取训练数据,其中,所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像;模型训练模块,被配置成将所述第一稀疏深度图像和所述第一彩色图像作为输入,将所述第一稠密深度图像作为输出,训练得到深度信息补全模型,其中,在训练过程中,先对分别从所述第一稀疏深度图像和所述第一彩色图像中提取的特征进行特征融合,再进行特征...
【专利技术属性】
技术研发人员:宋希彬,张良俊,
申请(专利权)人:百度美国有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。