训练方法及装置，深度补全方法、装置及系统，无人车制造方法及图纸

本公开涉及一种训练方法及装置，深度补全方法、装置及系统，无人车，涉及计算机视觉领域，尤其涉及无人驾驶领域。本公开的方法包括：从用于训练的视频序列中获取当前帧、当前帧的前一帧和当前帧的下一帧，并将当前帧和前一帧组成当前图像对，将下一帧和当前帧组成下一图像对；将当前图像对和当前帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第一结果，调整深度补全模型的参数；将下一图像对和下一帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第二结果，再次调整深度补全模型的参数；重复上述过程，直至完成对深度补全模型的训练。成对深度补全模型的训练。成对深度补全模型的训练。

【技术实现步骤摘要】
训练方法及装置，深度补全方法、装置及系统，无人车


[0001]本公开涉及计算机视觉领域，尤其涉及无人驾驶领域，特别涉及一种训练方法及装置，深度补全方法、装置及系统，无人车。

技术介绍

[0002]目前，无人驾驶设备用于将人或者物从一个位置自动运送到另一个位置，无人驾驶设备通过设备上的传感器采集环境信息并完成自动运送。基于无人驾驶技术控制的无人配送车进行物流运输极大地提高了生产生活的便捷性，节约了人力成本。
[0003]在无人驾驶领域，图像的深度信息是完成自动驾驶任务必不可少的信息。目前深度信息的获取，需要依靠各种深度传感器，例如，激光雷达(LiDAR)。但是，激光雷达等深度传感器只能获取部分点的深度信息，得到稀疏深度图。因此，深度补全(Depth Completion)任务被提出，该任务旨在利用稀疏深度图结合红绿蓝(Red Green Blue,RGB)图像，补全所有的深度信息。
[0004]相关技术主要集中于使用卷积神经网络(Convolutional Neural Networks,CNN)构建回归模型来预测深度，补全深度信息。

技术实现思路

[0005]专利技术人发现：深度补全模型也存在当测试集和训练集不一样时，模型的测试性能会大幅下降的情况。对于许多需要精确的深度信息的任务来说，这种面对不同环境时的性能退化是不可接受的。比如对于自动驾驶而言，汽车在行驶过程中遇到的环境往往是变化的，这些变化包括天气、光照、地形、交通状况等。这也就导致当深度补全方法应用于自动驾驶时，采集到的RGB图像以及稀疏深度图很难和模型训练时保持一致。此时，如果模型不能快速地适应环境的变化，则可能会预测错误的深度值，从而导致严重的交通事故。
[0006]本公开所要解决的一个技术问题是：如何提高深度补全模型的泛化能力和准确性。
[0007]根据本公开的一些实施例，提供的一种训练方法，包括：从用于训练的视频序列中获取当前帧、当前帧的前一帧和当前帧的下一帧，并将当前帧和前一帧组成当前图像对，将下一帧和当前帧组成下一图像对；将当前图像对和当前帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第一结果，调整深度补全模型的参数；将下一图像对和下一帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第二结果，再次调整深度补全模型的参数；重复上述过程，直至完成对深度补全模型的训练。
[0008]在一些实施例中，深度补全模型包括：深度致密模块、位姿估计模块、深度预测模块，第一结果包括：第一子结果和第二子结果，将当前图像对和当前帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第一结果，调整深度补全模型的参数包括：将当前图像对和当前帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第一子结果，调整深度致密模块的参数；根据调整后的深度致密模块的参数，重新得到深度补全模
型输出的第二子结果；根据第二子结果，调整位姿估计模块和深度预测模块的参数。
[0009]在一些实施例中，将当前图像对和当前帧对应的稀疏深度图输入深度补全模型包括：将当前图像对输入位姿估计模块，得到输出的当前帧和前一帧拍摄时相机的相对位姿；将当前帧对应的稀疏深度图输入深度致密模块，得到输出当前帧对应的第一稠密深度图；根据前一帧、当前帧和前一帧拍摄时相机的相对位姿以及第一稠密深度图，确定当前帧对应的第一重构图像；其中，第一稠密深度图和第一重构图像作为第一子结果。
[0010]在一些实施例中，其中，根据调整后的深度致密模块的参数，重新得到深度补全模型输出的第二子结果包括：将调整后的深度致密模块输出的当前帧对应的第二稠密深度图和当前帧输入深度预测模块，得到当前帧对应的第一预测深度图；根据前一帧、当前帧和前一帧拍摄时相机的相对位姿以及第一预测深度图，确定当前帧对应的第二重构图像；将第一预测深度图和第二重构图像作为第二子结果。
[0011]在一些实施例中，根据深度补全模型输出的第一子结果，调整深度致密模块的参数包括：根据第一稠密深度图和当前帧对应的稀疏深度图的差异以及第一重构图像和当前帧的差异，确定第一损失函数；根据第一损失函数，调整深度致密模块的参数。
[0012]在一些实施例中，根据第二子结果，调整位姿估计模块和深度预测模块的参数包括：根据第一预测深度图和当前帧对应的稀疏深度图的差异以及第二重构图像和当前帧的差异，确定第二损失函数；根据第二损失函数，调整位姿估计模块和深度预测模块的参数。
[0013]在一些实施例中，深度补全模型包括：深度致密模块、位姿估计模块、深度预测模块，将下一图像对和下一帧对应的稀疏深度图输入深度补全模型包括：将下一图像对输入位姿估计模块，得到输出的下一帧和当前帧拍摄时相机的相对位姿；将下一帧对应的稀疏深度图输入深度致密模块，得到输出下一帧对应的第三稠密深度图；将下一帧和第三稠密深度图输入深度预测模块，得到下一帧对应的第二预测深度图；根据当前帧、下一帧和当前帧拍摄时相机的相对位姿和第二预测深度图，确定下一帧对应的第三重构图像；其中，第二预测深度图和第三重构图像作为第二结果。
[0014]在一些实施例中，根据深度补全模型输出的第二结果，再次调整深度补全模型的参数包括：根据第二预测深度图和下一帧对应的稀疏深度图的差异以及第三重构图像和下一帧的差异，确定第三损失函数；根据第三损失函数，调整深度致密模块、位姿估计模块和深度预测模块的参数。
[0015]根据本公开的另一些实施例，提供的一种深度补全方法，包括：获取在线视频的当前在线帧和当前在线帧对应的稀疏深度图，并将当前在线帧与当前在线帧的前一在线帧，组成当前在线图像对；将当前在线图像对和当前在线帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第三结果，在线调整深度补全模型的参数；将深度补全模型输出的当前在线帧对应的预测深度图，作为当前在线帧对应的深度图。
[0016]在一些实施例中，深度补全模型包括：深度致密模块、位姿估计模块、深度预测模块，第三结果包括：第三子结果和第四子结果，将当前在线图像对和当前在线帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第三结果，在线调整深度补全模型的参数包括：将当前在线图像对和当前在线帧对应的稀疏深度图输入深度补全模型，根据深度补全模型输出的第三子结果，调整深度致密模块的参数；根据调整后的深度致密模块的参数，重新得到深度补全模型输出的第四子结果；根据第四子结果，调整位姿估计模块和深
度预测模块的参数。
[0017]在一些实施例中，将当前在线图像对和当前在线帧对应的稀疏深度图输入深度补全模型包括：将当前在线图像对输入位姿估计模块，得到输出的当前在线帧和前一在线帧拍摄时相机的相对位姿；将当前在线帧对应的稀疏深度图输入深度致密模块，得到输出当前在线帧对应的第四稠密深度图；将前在线一帧、当前在线帧和前在线一帧拍摄时相机的相对位姿以及第四稠密深度图，确定当前在线帧对应的第四重构图像；其中，第四稠密深度图和第四重构图像作为第三子结果。
[0018]在一些实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练方法，包括：从用于训练的视频序列中获取当前帧、所述当前帧的前一帧和所述当前帧的下一帧，并将所述当前帧和所述前一帧组成当前图像对，将所述下一帧和所述当前帧组成下一图像对；将所述当前图像对和所述当前帧对应的稀疏深度图输入深度补全模型，根据所述深度补全模型输出的第一结果，调整所述深度补全模型的参数；将所述下一图像对和所述下一帧对应的稀疏深度图输入所述深度补全模型，根据所述深度补全模型输出的第二结果，再次调整所述深度补全模型的参数；重复上述过程，直至完成对所述深度补全模型的训练。2.根据权利要求1所述的训练方法，其中，所述深度补全模型包括：深度致密模块、位姿估计模块、深度预测模块，所述第一结果包括：第一子结果和第二子结果，所述将所述当前图像对和所述当前帧对应的稀疏深度图输入深度补全模型，根据所述深度补全模型输出的第一结果，调整所述深度补全模型的参数包括：将所述当前图像对和所述当前帧对应的稀疏深度图输入所述深度补全模型，根据所述深度补全模型输出的第一子结果，调整所述深度致密模块的参数；根据调整后的所述深度致密模块的参数，重新得到所述深度补全模型输出的第二子结果；根据所述第二子结果，调整所述位姿估计模块和所述深度预测模块的参数。3.根据权利要求2所述的训练方法，其中，所述将所述当前图像对和所述当前帧对应的稀疏深度图输入所述深度补全模型包括：将所述当前图像对输入所述位姿估计模块，得到输出的所述当前帧和所述前一帧拍摄时相机的相对位姿；将所述当前帧对应的稀疏深度图输入所述深度致密模块，得到输出所述当前帧对应的第一稠密深度图；根据所述前一帧、所述当前帧和所述前一帧拍摄时相机的相对位姿以及所述第一稠密深度图，确定所述当前帧对应的第一重构图像；其中，所述第一稠密深度图和所述第一重构图像作为第一子结果。4.根据权利要求3所述的训练方法，其中，所述根据调整后的所述深度致密模块的参数，重新得到所述深度补全模型输出的第二子结果包括：将调整后的所述深度致密模块输出的所述当前帧对应的第二稠密深度图和所述当前帧输入所述深度预测模块，得到所述当前帧对应的第一预测深度图；根据所述前一帧、所述当前帧和所述前一帧拍摄时相机的相对位姿以及所述第一预测深度图，确定所述当前帧对应的第二重构图像；将所述第一预测深度图和所述第二重构图像作为第二子结果。5.根据权利要求3所述的训练方法，其中，所述根据所述深度补全模型输出的第一子结果，调整所述深度致密模块的参数包括：根据所述第一稠密深度图和所述当前帧对应的稀疏深度图的差异以及所述第一重构图像和所述当前帧的差异，确定第一损失函数；根据所述第一损失函数，调整所述深度致密模块的参数。
6.根据权利要求4所述的训练方法，其中，所述根据所述第二子结果，调整所述位姿估计模块和所述深度预测模块的参数包括：根据所述第一预测深度图和所述当前帧对应的稀疏深度图的差异以及所述第二重构图像和所述当前帧的差异，确定第二损失函数；根据所述第二损失函数，调整所述位姿估计模块和所述深度预测模块的参数。7.根据权利要求1所述的训练方法，其中，所述深度补全模型包括：深度致密模块、位姿估计模块、深度预测模块，所述将所述下一图像对和所述下一帧对应的稀疏深度图输入所述深度补全模型包括：将所述下一图像对输入所述位姿估计模块，得到输出的所述下一帧和所述当前帧拍摄时相机的相对位姿；将所述下一帧对应的稀疏深度图输入所述深度致密模块，得到输出所述下一帧对应的第三稠密深度图；将所述下一帧和所述第三稠密深度图输入所述深度预测模块，得到所述下一帧对应的第二预测深度图；根据所述当前帧、所述下一帧和所述当前帧拍摄时相机的相对位姿和所述第二预测深度图，确定所述下一帧对应的第三重构图像；其中，所述第二预测深度图和所述第三重构图像作为第二结果。8.根据权利要求7所述的训练方法，其中，所述根据所述深度补全模型输出的第二结果，再次调整所述深度补全模型的参数包括：根据所述第二预测深度图和所述下一帧对应的稀疏深度图的差异以及所述第三重构图像和所述下一帧的差异，确定第三损失函数；根据所述第三损失函数，调整所述深度致密模块、所述位姿估计模块和所述深度预测模块的参数。9.一种深度补全方法，包括：获取在线视频的当前在线帧和所述当前在线帧对应的稀疏深度图，并将所述当前在线帧与所述当前在线帧的前一在线帧，组成当前在线图像对；将所述当前在线图像对和所述当前在线帧对应的稀疏深度图输入深度补全模型，根据所述深度补全模型输出的第三结果，在线调整所述深度补全模型的参数；将所述深度补全模型输出的当前在线帧对应的预测深度图，作为当前在线帧对应的深度图。10.根据权利要求9所述的深度补全方法，其中，所述深度补全模型包括：深度致密模块、位姿估计模块、深度预测模块，所述第三结果包括：第三子结果和第四子结果，所述将所述当前在线图像对和所述当前在线帧对应的稀疏深度图输入所述深度补全模型，根据所述深度补全模型输出的第三结果，在线调整所述深度补全模型的参数包括...

【专利技术属性】
技术研发人员：赵杉杉，陈杨，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：