车辆周视点云的生成方法、深度估计模型训练方法及装置制造方法及图纸

本申请公开了一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。其中，一种车辆周视点云的生成方法，该方法包括：确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；确定所述多幅同步帧图像各自的深度信息；根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。本申请实施例仅依靠图像采集装置(例如，相机)的自监督生成周视点云，无需部署激光雷达，部署成本低，图像采集装置受天气、空气等影响小，采集的图像更清晰，最终确定的点云数据更准确。最终确定的点云数据更准确。最终确定的点云数据更准确。

【技术实现步骤摘要】
车辆周视点云的生成方法、深度估计模型训练方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。

技术介绍

[0002]在自动驾驶中，智能车辆的周视点云可以表征出其周围环境的几何结构和深度信息。目前，通过周视点云方式实现智能车辆的3D(3
‑
Dimension)感知已成为主流。相关技术中，主要采用激光雷达获取智能车辆的点云信息，由于其能直接提供一个3D的场景而被广泛应用。但是，采用激光雷达获取点云信息，也有较多缺点：例如激光雷达部署成本较高，探测距离有限，且受天气、空气等环境因素影响较大。

技术实现思路

[0003]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆周视点云的生成方法、深度估计模型训练方法及装置、计算机可读存储介质、电子设备。
[0004]根据本申请的第一个方面，提供了一种车辆周视点云的生成方法，所述方法包括：
[0005]确定来自车辆的多个图像采集装置采集的多个视角的多幅同步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆周视点云的生成方法，其中，所述方法包括：确定来自车辆的多个图像采集装置采集的多个视角的多幅同步帧图像；确定所述多幅同步帧图像各自的深度信息；根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据；基于所述多个视角各自对应的点云数据，确定所述车辆的周视点云。2.根据权利要求1所述的方法，其中，所述方法还包括：从所述多个视角中确定出第一视角以及与所述第一视角相邻的第二视角；确定所述第一视角与所述第二视角之间的重叠深度信息；针对所述重叠深度信息，对所述重叠深度信息进行去重处理。3.根据权利要求2所述的方法，其中，所述确定所述第一视角及第二视角之间的重叠深度信息，包括：将所述第一视角与第二视角之间具有相同像素值的图像的深度信息确定为所述第一视角与第二视角的重叠深度信息。4.根据权利要求2所述的方法，其中，所述针对所述重叠深度信息，对所述重叠深度信息进行去重处理，包括：基于所述第一视角对应的深度信息、所述第一视角对应的图像采集装置与所述第二视角对应的图像采集装置的外参，对所述第一视角的图像进行图像重投影，以得到所述第二视角的变换图像；基于所述第二视角对应的深度信息、所述第二视角对应的图像采集装置与所述第一视角对应的图像采集装置的外参，对所述第二视角的图像进行图像重投影，以得到所述第一视角的变换图像；确定所述第一视角的变换图像与所述第二视角的变换图像的像素距离是否在预设范围内；删除所述重叠深度信息中的、所述像素距离不在预设范围内的像素。5.根据权利要求1所述的方法，其中，所述根据所述多个视角各自对应的图像采集装置的采集参数、帧同步图像和深度信息，生成该视角对应的点云数据，包括：对所述多个视角中任一视角对应的图像采集装置的内参、帧同步图像和深度信息进行矩阵乘法运算，生成该视角对应的点云数据。6.一种深度估计模型训练方法，其中，包括：从第一视频流中确定第一帧图像及与所述第一帧图像相邻的第二帧图像；确定所述第一帧图像和所述第二帧图像之间的帧间运动信息；通过深度估计神经网络确定所述第一帧图像的深度信息；根据所述帧间运动信...

【专利技术属性】
技术研发人员：王梦圆，朱红梅，孟文明，张骞，黄畅，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：