车辆周视点云的生成方法、深度估计模型训练方法及装置制造方法及图纸

本申请公开了一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。其中，一种车辆周视点云的生成方法，该方法包括：确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；确定所述多幅同步帧图像各自的深度信息；根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。本申请实施例仅依靠图像采集装置(例如，相机)的自监督生成周视点云，无需部署激光雷达，部署成本低，图像采集装置受天气、空气等影响小，采集的图像更清晰，最终确定的点云数据更准确。最终确定的点云数据更准确。最终确定的点云数据更准确。

【技术实现步骤摘要】
车辆周视点云的生成方法、深度估计模型训练方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。

技术介绍

[0002]在自动驾驶中，智能车辆的周视点云可以表征出其周围环境的几何结构和深度信息。目前，通过周视点云方式实现智能车辆的3D(3
‑
Dimension)感知已成为主流。相关技术中，主要采用激光雷达获取智能车辆的点云信息，由于其能直接提供一个3D的场景而被广泛应用。但是，采用激光雷达获取点云信息，也有较多缺点：例如激光雷达部署成本较高，探测距离有限，且受天气、空气等环境因素影响较大。

技术实现思路

[0003]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。
[0004]根据本申请的第一个方面，提供了一种车辆周视点云的生成方法，所述方法包括：
[0005]确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；
[0006]确定所述多幅同步帧图像各自的深度信息；
[0007]根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；
[0008]基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。
[0009]根据本申请的第二个方面，提供了一种深度估计模型训练方法，其中，包括：
[0010]从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；
[0011]确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；
[0012]通过深度估计神经网络确定所述第一帧图像的深度信息；
[0013]根据所述帧间运动信息、所述第一帧图像的深度信息、采集所述第一视频流的图像采集装置的预设采集参数，确定所述第一帧图像的重构图像；
[0014]基于所述第一帧图像及所述重构图像，训练所述深度估计神经网络。
[0015]根据本申请的第三个方面，提供了一种车辆周视点云的生成装置，包括：
[0016]第一确定模块，用于确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；
[0017]第二确定模块，用于确定所述多幅同步帧图像各自的深度信息；
[0018]第一点云模块，用于根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；
[0019]第二点云模块，用于基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。
[0020]根据本申请的第四个方面，提供了一种深度估计模型训练装置，其中，包括：
[0021]图像确定模块，用于从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；
[0022]帧间运动信息确定模块，用于确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；
[0023]深度信息确定模块，用于通过深度估计神经网络确定所述第一帧图像的深度信息；
[0024]图像重构模块，用于根据所述帧间运动信息、所述第一帧图像的深度信息、采集所述第一视频流的图像采集装置的预设采集参数，确定所述第一帧图像的重构图像；
[0025]训练模块，用于基于所述第一帧图像及所述重构图像，训练所述深度估计神经网络。
[0026]根据本申请的第五个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行前述第一方面所述的车辆周视点云的生成方法或者用于执行前述第二方面所述的深度估计模型训练方法。
[0027]根据本申请的第六个方面，电子设备，所述电子设备包括：
[0028]处理器；
[0029]用于存储所述处理器可执行指令的存储器；
[0030]所述处理器，用于执行前述第一方面所述的车辆周视点云的生成方法或者用于执行前述第二方面所述的深度估计模型训练方法。
[0031]通过本申请实施例，通过多个图像采集装置采集的多个视角的同步帧图像、多个视角的同步帧图像的深度信息、图像采集装置的采集参数进而确定出车辆的周视点云，因此，本申请实施例仅依靠图像采集装置(例如，相机)的自监督生成周视点云，并无需部署激光雷达，部署成本低，由于图像采集装置受天气、空气等影响小，采集的图像更清晰，最终确定的点云数据更准确；以及，相对单个图像采集装置而言，利用多个图像采集装置的多个视角的深度信息生成的车辆的周视点云，其周视点云可以具有真实尺度，其精准度更高。
[0032]在本申请深度估计模型训练的实施例中，基于相邻两帧图像之间的帧间运动信息，任一帧图像的深度信息和图像采集装置的采集参数得到该帧图像的重构图像，进而基于该帧图像及其重构图像对深度估计神经网络进行训练，从而得到深度估计模型，因此，在深度估计模型训练过程中是利用图像和图像采集装置的几何约束(图像采集装置的采集参数)对神经网络进行耦合训练，而无需对图像进行标注；同时结合了图像、图像采集装置的几何约束和相邻两帧图像之间的帧间运动信息(即里程计)确定重构图像，进而通过最小化重构图像(重投影)误差来优化神经网络参数以得到深度估计模型，使得通过该深度估计模型可以自监督的获取带有真实尺度的深度信息。
附图说明
[0033]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0034]图1是本申请实施例的智能车辆系统结构图。
[0035]图2是本申请一示例性实施例提供的车辆周视点云的生成方法的流程示意图。
[0036]图3是本申请另一示例性实施例提供的车辆周视点云的生成方法的流程示意图。
[0037]图4是本申请另一示例性实施例提供的车辆周视点云的生成方法的流程示意图。
[0038]图5是本申请另一示例性实施例提供的车辆周视点云的生成方法的流程示意图。
[0039]图6是本申请另一示例性实施例提供的车辆周视点云的生成方法的流程示意图。
[0040]图7是本申请一示例性实施例提供的深度估计模型训练方法的流程示意图。
[0041]图8是本申请另一示例性实施例提供的深度估计模型训练方法的流程示意图。
[0042]图9是本申请另一示例性实施例提供的深度估计模型训练方法的流程示意图。
[0043]图10是图8
‑
图9所示实施例提供的重构图像的技术方案的实现流程示意图。
[0044]图11是本申请另一示例性实施例提供的深度估计模型训练方法的流程示意图。
[0045]图12是本申请另一示例性实施例提供的深度估计模型训练方法的流程示意图。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆周视点云的生成方法，其中，所述方法包括：确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；确定所述多幅同步帧图像各自的深度信息；根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。2.根据权利要求1所述的方法，其中，所述方法还包括：从所述多个视角中确定出第一视角以及与所述第一视角相邻的第二视角；确定所述第一视角与所述第二视角之间的重叠深度信息；针对所述重叠深度信息，对所述重叠深度信息进行去重处理。3.根据权利要求2所述的方法，其中，所述确定所述第一视角及第二视角之间的重叠深度信息，包括：将所述第一视角与第二视角之间具有相同像素值的图像的深度信息确定为所述第一视角与第二视角的重叠深度信息。4.根据权利要求2所述的方法，其中，所述针对所述重叠深度信息，对所述重叠深度信息进行去重处理，包括：基于所述第一视角对应的深度信息、所述第一视角对应的图像采集装置与所述第二视角对应的图像采集装置的外参，对所述第一视角的图像进行图像重投影，以得到所述第二视角的变换图像；基于所述第二视角对应的深度信息、所述第二视角对应的图像采集装置与所述第一视角对应的图像采集装置的外参，对所述第二视角的图像进行图像重投影，以得到所述第一视角的变换图像；确定所述第一视角的变换图像与所述第二视角的变换图像的像素距离是否在预设范围内；删除所述重叠深度信息中的、所述像素距离不在预设范围内的像素。5.根据权利要求1所述的方法，其中，所述根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据，包括：对所述多个视角中任一视角对应的图像采集装置的内参、帧同步图像和深度信息进行矩阵乘法运算，生成该视角对应的点云数据。6.一种深度估计模型训练方法，其中，包括：从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；通过深度估计神经网络确定所述第一帧图像的深度信息；根据所述帧间运动信...

【专利技术属性】
技术研发人员：王梦圆，朱红梅，孟文明，张骞，黄畅，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：