从上采样的低分辨率LIDAR 3-D点云和摄像机图像生成高分辨率3-D点云制造技术

在一个实施方式中，一种方法或系统从低分辨率的3‑D点云和摄像机捕捉的图像生成高分辨率的3‑D点云，以操作自动驾驶车辆(ADV)。该系统接收用于驾驶环境的、由摄像机捕捉的第一图像。该系统接收第二图像，该第二图像表示与驾驶环境相对应的第一点云的第一深度图。该系统以预定的比例因子对第二图像上采样，以匹配第一图像的图像比例。该系统通过对第一图像和上采样的第二图像应用卷积神经网络(CNN)模型来生成第二深度图，该第二深度图比第一深度图具有更高的分辨率，使得第二深度图表示感知ADV周围的驾驶环境的第二点云。

Generation of high resolution 3-D point clouds from up-sampled low-resolution LIDAR 3-D point clouds and camera images

In one embodiment, a method or system generates a high-resolution 3 D point cloud from images captured by low-resolution 3 D point clouds and cameras to operate an automatic driving vehicle (ADV). The system receives the first image captured by the camera for driving environment. The system receives a second image representing the first depth map of the first point cloud corresponding to the driving environment. The system sampled the second image with a predetermined scale factor to match the image proportion of the first image. The system generates the second depth map by applying the convolution neural network (CNN) model to the first image and the second up-sampled image. The second depth map has higher resolution than the first depth map, which makes the second depth map represent the second point cloud that perceives the driving environment around ADV.

【技术实现步骤摘要】
从上采样的低分辨率LIDAR3-D点云和摄像机图像生成高分辨率3-D点云
本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及从上采样的低分辨率激光雷达(LIDAR)3-D点云和摄像机图像生成高分辨率三维(3-D)点云。
技术介绍
以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。高分辨率LIDAR数据对实现用于自动驾驶车辆(ADV)应用(诸如，对象分割、检测、跟踪和分类)的实时3-D场景重建很重要。然而，高分辨率的LIDAR设备通常是昂贵的，且未必能够获得。
技术实现思路
在本公开的一方面，提供了一种用于操作自动驾驶车辆的计算机实施的方法，所述方法包括：接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；以预定的比例因子对所述第二图像上采样，以匹配所述第一图本文档来自技高网...

【技术保护点】
1.一种用于操作自动驾驶车辆的计算机实施的方法，所述方法包括：接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；以预定的比例因子对所述第二图像上采样，以匹配所述第一图像的图像比例；以及通过对所述第一图像和上采样的第二图像应用卷积神经网络模型来生成第二深度图，所述第二深度图比所述第一深度图具有更高的分辨率，其中，所述第二深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。

【技术特征摘要】
2017.07.03 US 15/641,1111.一种用于操作自动驾驶车辆的计算机实施的方法，所述方法包括：接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；以预定的比例因子对所述第二图像上采样，以匹配所述第一图像的图像比例；以及通过对所述第一图像和上采样的第二图像应用卷积神经网络模型来生成第二深度图，所述第二深度图比所述第一深度图具有更高的分辨率，其中，所述第二深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。2.根据权利要求1所述的方法，还包括：接收由第二摄像机捕捉的第三图像；以及通过对所述第一图像、所述第三图像和所述上采样的第二图像应用所述卷积神经网络模型来生成所述第二深度图。3.根据权利要求1所述的方法，其中，所述第一图像包括圆柱形全景图像或球形全景图像。4.根据权利要求3所述的方法，其中，所述圆柱形全景图像或所述球形全景图像是基于由多个摄像机捕捉的多个图像生成的。5.根据权利要求3所述的方法，还包括：通过将所述第二深度图投影到基于所述圆柱形全景图像或所述球形全景图像的3-D空间中来重构所述第二点云。6.根据权利要求1所述的方法，还包括：将所述上采样的第二图像映射到所述第一图像的图像平面上。7.根据权利要求6所述的方法，其中，所述第二深度图是通过将一个或多个生成的深度图进行混合而生成，其中，所述第二深度图是全景图。8.根据权利要求1所述的方法，其中，所述卷积神经网络模型包括：多个收缩层，其中，每个收缩层均包括编码器以对相应的输入进行下采样；以及多个扩张层，联接至所述多个收缩层，其中，每个扩张层均包括解码器以对相应的输入进行上采样。9.根据权利要求8所述的方法，其中，所述多个收缩层的信息前馈给所述多个扩张层。10.根据权利要求8所述的方法，其中，所述多个扩张层中的每个均包括预测层，以预测用于后续层的深度值。11.根据权利要求1所述的方法，其中，对所述第二图像上采样包括修复所述第二图像。12.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环...

【专利技术属性】
技术研发人员：黄玉，郑先廷，朱俊，张伟德，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国,US