使用稀疏深度数据生成距离图像的方法和系统技术方案

公开了一种使用稀疏深度数据生成距离图像的系统和方法。所述方法包括由控制器接收场景的图像数据。图像数据包括第一组像素。所述方法还包括由控制器接收场景的稀疏深度数据。稀疏深度数据包括第二组像素，并且第二组像素的数量小于第一组像素的数量。所述方法还包括将图像数据和稀疏深度数据组合成组合数据。所述方法还包括使用组合数据生成距离图像。

The Method and System of Using Sparse Depth Data to Generate Distance Image

【技术实现步骤摘要】
使用稀疏深度数据生成距离图像的方法和系统引言本主题实施例涉及使用稀疏深度数据生成距离图像。具体地，一个或多个实施例可以涉及通过使用至少一个相机和至少一个距离传感器来生成高分辨率距离图像。例如，一个或多个实施例可以通过将图像数据(由至少一个相机捕获)与稀疏深度数据(由至少一个距离传感器捕获)组合来生成高分辨率距离图像。距离图像是二维图像，其中特定点(即，距离传感器所处的位置)与二维图像的场景内的点之间的距离由二维图像反映。对于某些距离图像，构成距离图像的像素可以包括与特定点和捕获的场景内的点之间的距离相对应的值。
技术实现思路
在一个示例性实施例中，一种方法包括由控制器接收场景的图像数据。图像数据包括第一组像素。所述方法还包括由控制器接收场景的稀疏深度数据。稀疏深度数据包括第二组像素，并且第二组像素的数量小于第一组像素的数量。所述方法还包括将图像数据和稀疏深度数据组合成组合数据。所述方法还包括使用组合数据生成距离图像。在另一示例性实施例中，所述方法还包括对图像数据执行特征提取处理以生成特征向量。在另一示例性实施例中，第二组像素对应于布置在固定像素位置处的固定数量的像素。在另一示例性实施例中，接收图像数据包括从单目相机接收图像数据。在另一示例性实施例中，所述方法还包括训练控制器以执行特征提取和回归。在另一示例性实施例中，训练控制器包括训练以减少所生成的深度数据与实际深度数据之间的深度误差。在另一示例性实施例中，训练控制器包括训练以保持像素深度的一致排序。在另一示例性实施例中，特征向量反映了不同可识别特征之间的所识别的空间关系。在另一示例性实施例中，一种车辆内的系统包括电子控制器，该电子控制器被配置为接收场景的图像数据。图像数据包括第一组像素。电子控制器还被配置为接收场景的稀疏深度数据。稀疏深度数据包括第二组像素，并且第二组像素的数量小于第一组像素的数量。电子控制器还被配置为将图像数据和稀疏深度数据组合成组合数据。电子控制器还被配置为使用组合数据生成距离图像。在另一示例性实施例中，电子控制器还被配置为对图像数据执行特征提取处理以生成特征向量。在另一示例性实施例中，第二组像素对应于布置在固定像素位置处的固定数量的像素。在另一示例性实施例中，接收图像数据包括从单目相机接收图像数据。在另一示例性实施例中，控制器还被配置为对稀疏深度数据执行第一归一化。第一归一化包括根据特征向量的值的范围来修改稀疏深度数据的值。在另一示例性实施例中，控制器还被配置为对组合数据执行第二归一化。第二归一化包括将组合数据修改为特定向量长度。在另一示例性实施例中，训练控制器以执行特征提取和回归。在另一示例性实施例中，训练控制器包括训练以减少所生成的深度数据与实际深度数据之间的深度误差。在另一示例性实施例中，训练控制器包括训练以保持像素深度的一致排序。在另一示例性实施例中，特征向量反映了不同可识别特征之间的所识别的空间关系。通过以下结合附图的详细描述，本公开的上述特征和优点以及其他特征和优点将变得清晰。附图说明其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中：图1示出了根据一个或多个实施例的示例图像数据和示例深度数据；图2示出了根据一个或多个实施例的组合示例图像数据和示例深度数据；图3示出了根据一个或多个实施例的用于训练一个或多个设备以执行特征提取和回归的示例训练图像和实际深度数据；图4描绘了根据一个或多个实施例的方法的流程图；以及图5描绘了计算系统的高级框图，所述计算系统可用于实现一个或多个实施例。具体实施方式以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。如本文所使用的，术语模块指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所述功能的其他合适组件。如上所述，距离图像是二维图像，其中特定点(即，传感器所处的位置)与二维图像的场景内的点之间的距离由两维图像反映。随着新技术的出现，生成高质量距离图像的能力变得越来越重要。例如，为了实现辅助驾驶和自动驾驶技术，生成高质量距离图像的能力是必要的。具体地，能够自动驾驶的车辆通常需要参考捕获的高质量距离图像，以便执行环境中的物体的检测并执行环境中的物体的识别。另外，车辆可能需要参考捕获的高质量距离图像以便确定车辆的当前位置并且例如以便执行映射和计划功能。用于获得环境中的物体的距离/深度数据的常规方法可以使用光检测和测距(LIDAR)技术，可以使用立体视觉技术，和/或可以在单目图像上使用深度预测技术。然而，这些方法中的每一种通常都表现出明显的技术局限。使用LIDAR技术来确定环境的距离/深度数据的方法通常无法为离开LIDAR设备更远距离处的物体提供高分辨率距离/深度数据。使用立体视觉技术的方法也不能为位于更远处的物体提供高分辨率距离/深度数据。最后，使用单目图像执行深度预测的方法通常需要环境的物体(在单目图像内捕获)表现出图像之间的相对移动。然而，在没有环境内物体的相对移动的情况下，这种方法通常在确定物体的距离/深度数据方面是无效的，并且这种方法通常在确定所需距离/深度数据时表现出低性能。鉴于传统方法的上述缺点和生成高质量距离图像的需要，一个或多个实施例涉及一种低成本方法，其生成与由当前方法生成的距离图像相比，具有更高分辨率的距离图像。可以使用当前相机和距离测量设备来实现一个或多个实施例的方法。此外，因为一个或多个实施例可以使用计算机实现的方法生成高质量距离图像，所以与传统方法相比，这些实施例可以以更低的成本生成高质量距离图像。一个或多个实施例涉及通过将场景的图像数据与场景的稀疏深度数据组合来生成高分辨率距离图像的系统和方法。例如，可以使用单目相机捕获场景的图像数据。例如，可以通过使用一个或多个距离传感器来捕获场景的稀疏深度数据。场景的图像数据可以是一组元素/像素，其共同形成场景的视觉表示，其中每个像素可以存储反映场景的视觉表示的一部分的数字值。图像数据可以是按行和列布置的多个像素。稀疏深度数据可以是一组元素/像素，其示出了从场景中的点(与稀疏深度数据的元素/像素相关联)到与捕获稀疏深度数据的一个或多个距离传感器相关的特定点的距离。这样，深度数据的每个像素可以存储关于场景中的点(与像素相关联)与一个或多个距离传感器之间的距离的数据。深度数据的像素可以被认为是稀疏的，因为深度数据的像素数量小于图像数据的像素数量。深度数据的像素可以是固定位置处的固定数量的像素。图1示出了根据一个或多个实施例的示例图像数据110和示例深度数据120。在图1中，示例图像数据110表示具有不同特征的场景(即，床、床头柜、门等)。示例深度数据120包括多个元素/像素120，其中每个像素对应于场景中的特定点。每个像素存储关于场景中的点(与像素相关联)与捕获深度数据的传感器之间的距离的数据。在图1的示例中，深度数据120包括45个像素、以9列和5行布置。如上所述，45个像素的深度数据可以是稀疏的，因为深度像素的数量(45个像素)小于构成图像数据110的像素的数量。一旦被捕获，图像数据110可以与深度数据120组合。可以通过使用诸如光检测和测距(LIDAR)、雷达等装置来获得稀疏深度数据1本文档来自技高网...

【技术保护点】
1.一种方法，所述方法包括：由控制器接收场景的图像数据，其中所述图像数据包括第一组像素；由所述控制器接收所述场景的稀疏深度数据，所述稀疏深度数据包括第二组像素，并且所述第二组像素的数量小于所述第一组像素的数量；将所述图像数据和所述稀疏深度数据组合成组合数据；以及使用所述组合数据生成距离图像。

【技术特征摘要】
2018.01.24 US 15/8789371.一种方法，所述方法包括：由控制器接收场景的图像数据，其中所述图像数据包括第一组像素；由所述控制器接收所述场景的稀疏深度数据，所述稀疏深度数据包括第二组像素，并且所述第二组像素的数量小于所述第一组像素的数量；将所述图像数据和所述稀疏深度数据组合成组合数据；以及使用所述组合数据生成距离图像。2.根据权利要求1所述的方法，还包括：对所述图像数据执行特征提取处理，以生成特征向量。3.根据权利要求1所述的方法，其中所述第二组像素对应于布置在固定像素位置处的固定数量的像素。4.根据权利要求1所述的方法，其中接收所述图像数据包括从单目相机接收所述图像数据。5.根据权利要求2所述的方法，还包括：对所述稀疏深度数据执行归一化，其中所述归一化包括根据所述特征向量的值的范围来...

【专利技术属性】
技术研发人员：曾树青，佟维，U·P·穆达里格，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US