深度信息补全模型训练方法、装置、设备以及存储介质制造方法及图纸

本申请公开了深度信息补全模型训练方法、装置、设备以及存储介质，涉及计算机视觉、深度学习、自动驾驶等人工智能技术领域。该方法的一具体实施方式包括：获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。该实施方式在训练过程中，以稀疏深度图像和对应的彩色图像作为输入，先融合稀疏深度图像和彩色图像进行特征提取，再进行特征增强，能够训练出用于有效获取稠密深度图像的模型。

【技术实现步骤摘要】
深度信息补全模型训练方法、装置、设备以及存储介质
本申请实施例涉及计算机
，具体涉及计算机视觉、深度学习、自动驾驶等人工智能
，尤其涉及深度信息补全模型训练方法、装置、设备以及存储介质。
技术介绍
深度图像可以应用于三维物体检测、场景三维重建等。目前，高精度深度传感器可以用于采集深度图像，如雷达设备。常用的雷达设备有16线、32线及64线等。然而，这些雷达设备采集的深度图像非常稀疏，严重限制了相关应用的效果。因此，需要先对采集到的稀疏的深度图像进行深度信息补全。目前，深度信息补全主要采用基于插值的实现方式。具体地，以稀疏的深度图像为输入，使用非线性插值方式，如最近邻插值(NearestNeighborinterpolation)、双三次多项式插值(bi-cubicinterpolation)或双线性插值(bilinearinterpolation)等，是以稀疏深度点为基础插值出稠密的深度图像。
技术实现思路
本申请实施例提出了深度信息补全模型训练方法、装置、设备以及存储介质。第一方面，本申请实施例提出了一种深度信息补全模型训练方法，包括：获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。第二方面，本申请实施例提出了一种深度信息补全模型训练装置，包括：训练数据获取模块，被配置成获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；模型训练模块，被配置成将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据如第一方面中任一实现方式描述的方法。本申请实施例提供的深度信息补全模型训练方法、装置、设备以及存储介质，首先获取训练数据；然后将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型。在训练过程中，以稀疏深度图像和对应的彩色图像作为输入，先融合稀疏深度图像和彩色图像进行特征提取，再进行特征增强，能够训练出用于有效获取稠密深度图像的模型。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请的深度信息补全模型训练方法的一个实施例的流程图；图2是根据本申请的深度信息补全模型训练方法的又一个实施例的流程图；图3是深度信息补全模型的网络训练结构示意图；图4是基本训练单元的结构示意图；图5是通道级增强流程图；图6是像素级增强流程图；图7是根据本申请的深度信息补全模型优化方法的一个实施例的流程图；图8是根据本申请的深度信息补全模型训练装置的一个实施例的结构示意图；图9是用来实现本申请实施例的深度信息补全模型训练方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了根据本申请的深度信息补全模型训练方法的一个实施例的流程100。该深度信息补全模型训练方法包括以下步骤：步骤101，获取训练数据。在本实施例中，深度信息补全模型训练方法的执行主体可以获取训练数据。其中，训练数据可以包括第一稀疏深度图像、第一彩色图像和第一稠密深度图像。深度图像的每个像素点的像素值可以是传感器与所采集的物体表面的每个点之间的距离。第一稀疏深度图像是像素点较为稀疏的深度图像。第一稠密深度图像可以是像素点较为稠密的深度图像。彩色图像的每个像素点的像素值可以是所采集的物体表面的每个点的颜色值。通常，人类视力所能感知的所有颜色均是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到的。常用的传感器是雷达设备和摄像头。摄像头用于采集彩色图像。雷达设备用于采集深度图像。雷达设备包括16线、32线和64线等，其线数越多，采集到的深度图像越稠密，其价格也越贵。雷达设备和摄像头通常安装在自动驾驶车辆上，用于采集自动驾驶车辆在行驶过程中的周围环境的图像。自动驾驶车辆可以包括但不限于无人驾驶汽车、无人自主挖掘机等等。其中，第一稀疏深度图像、第一彩色图像和第一稠密深度图像三者对应。例如，第一稀疏深度图像、第一稠密深度图像和第一彩色图像是在同一时刻对同一场景进行采集所得到的图像。又例如，第一稀疏深度图像和第一彩色图像是在同一时刻对同一场景进行采集所得到的图像，而第一稠密深度图像是基于第一稀疏深度图像生成的。再例如，第一稠密深度图像和第一彩色图像是在同一时刻对同一场景进行采集所得到的图像，而第一稀疏深度图像是基于第一稠密深度图像生成的。在本实施例的一些可选的实现方式中，上述执行主体可以首先获取第一稠密深度图像和对应的第一彩色图像；然后对第一稠密深度图像进行随机采样，生成第一稀疏深度图像。例如，利用线数很多的雷达设备采集相对密集的深度图像，作为第一稠密深度图像。同时，利用摄像头对应采集彩色图像，作为第一彩色图像。对于对应的第一稀疏深度图像，可以使用对相对密集的深度图像进行随机采样的方式产生，从而丰富了训练样本的生成方式。在本实施例的一些可选的实现方式中，上述执行主体可以首先获取第一稀疏深度图像和第一彩色图像；然后将第一稀疏深度图像中的临近的多帧投影为一帧，生成第一稠密深度图像。例如，利用雷达设备连续采集稀疏深度图像。同时，利用摄像头对应采集彩色图像，作为第一彩色图像。对于对应的本文档来自技高网...

【技术保护点】
1.一种深度信息补全模型训练方法，包括：/n获取训练数据，其中，所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；/n将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合所述第一稀疏深度图像和所述第一彩色图像进行特征提取，再进行特征增强。/n

【技术特征摘要】
1.一种深度信息补全模型训练方法，包括：
获取训练数据，其中，所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；
将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合所述第一稀疏深度图像和所述第一彩色图像进行特征提取，再进行特征增强。


2.根据权利要求1所述的方法，其中，所述深度信息补全模型包括K个基本训练单元，K为正整数；以及
所述将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，包括：
将输入深度图像和所述第一彩色图像输入当前基本训练单元，得到当前深度图像，将当前深度图像和所述第一彩色图像输入下一个基本训练单元，经过K阶段训练，输出最终深度图像，其中，若当前基本训练单元是第一个基本训练单元，输入深度图像是所述第一稀疏深度图像，若当前基本训练单元不是第一个基本训练单元，输入深度图像是上一个基本训练单元输出的深度图像；
基于所述K个基本训练单元输出的深度图像与所述第一稠密深度图像之间的残差，调整所述K个基本训练单元的参数。


3.根据权利要求2所述的方法，其中，所述基本训练单元包括编码模块、特征增强模块和解码模块，所述编码模块包括多个卷积层，用于融合输入深度图像和所述第一彩色图像进行特征提取，所述特征增强模块用于对所述编码模块提取的特征进行特征增强，所述解码模型包括与所述编码模块数量相同的卷积层，是所述编码模块的逆向操作。


4.根据权利要求3所述的方法，其中，所述特征增强模块用于通道级特征增强和像素级特征增强，以及通道级特征和像素级特征融合。


5.根据权利要求4所述的方法，其中，所述特征增强模块的通道级特征增强步骤包括：
对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qc(c×(h*w))和特征Hc((h*w)×c)，其中，c是通道数，w是宽、h是高；
将所述特征Qc(c×(h*w))和所述特征Hc((h*w)×c)进行矩阵乘法操作，得到矩阵Mc(c×c)；
对所述矩阵Mc(c×c)进行回归操作，得到权重Mc′(c×c)；
对所述特征F(c×w×h)进行卷积操作，得到特征Fc′(c×w×h)；
通过所述权重Mc′(c×c)和所述特征Fc′(c×w×h)进行矩阵乘法操作，得到增强特征Fh(c×w×h)；
对所述增强特征Fh(c×w×h)与所述特征Fc′(c×w×h)进行像素级加法，得到通道级增强特征Fc(c×w×h)。


6.根据权利要求5所述的方法，其中，所述特征增强模块的像素级特征增强步骤包括：
对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qp((h*w)×c)和特征Hp(c×(h*w))，其中，c是通道数，w是宽、h是高；
将所述特征Qp((h*w)×c)和所述特征Hp(c×(h*w))进行矩阵乘法操作，得到矩阵Mp((h*w)×(h*w))；
对所述矩阵Mp((h*w)×(h*w))进行回归操作，得到权重Mp′((h*w)×(h*w))；
对所述特征F(c×w×h)进行卷积操作，得到特征Fp′(c×w×h)；
通过所述权重Mp′((h*w)×(h*w))和所述特征Fp′(c×w×h)进行矩阵乘法操作，得到增强特征Fh′(c×w×h)；
对所述增强特征Fh′(c×w×h)与所述特征Fp′(c×w×h)进行像素级加法，得到像素级增强特征Fp(c×w×h)。


7.根据权利要求6所述的方法，其中，所述特征增强模块的特征融合步骤包括：
基于可学习的参数，将所述通道级增强特征Fc(c×w×h)和所述像素级增强特征Fp(c×w×h)融合，得到融合特征。


8.根据权利要求1-7之一所述的方法，其中，所述方法还包括：
获取测试数据，其中，所述测试数据包括第二稀疏深度图像、对应的第二彩色图像和对应的第二稠密深度图像；
将所述第二稀疏深度图像和所述第二彩色图像输入到所述深度信息补全模型，得到补全稠密深度图像；
计算所述补全稠密深度图像与所述第二稠密深度图像之间的残差，以及在残差大于预设阈值的情况下，优化所述深度信息补全模型。


9.根据权利要求8所述的方法，其中，优化所述深度信息补全模型的方式包括以下至少一项：增加基本训练单元的数量、增加训练次数、增加训练数据。


10.根据权利要求1-7之一所述的方法，其中，所述获取训练数据，包括：
获取所述第一稠密深度图像和所述第一彩色图像；
对所述第一稠密深度图像进行随机采样，生成所述第一稀疏深度图像。


11.根据权利要求1-7之一所述的方法，其中，所述获取训练数据，包括：
获取所述第一稀疏深度图像和所述第一彩色图像；
将所述第一稀疏深度图像中的临近的多帧投影为一帧，生成所述第一稠密深度图像。


12.一种深度信息补全模型训练装置，包括：
训练数据获取模块，被配置成获取训练数据，其中，所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；
模型训练模块，被配置成将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合所述第一稀疏深度图像和所述第一彩色图...

【专利技术属性】
技术研发人员：宋希彬，张良俊，
申请(专利权)人：北京百度网讯科技有限公司，百度美国有限责任公司，
类型：发明
国别省市：北京;11