深度信息确定方法、深度信息确定装置及电子设备制造方法及图纸

公开了一种深度信息确定方法、深度信息确定装置及电子设备。该深度信息确定方法包括：基于二维图像确定深度信息图像；基于深度信息图像确定深度梯度信息；确定二维图像对应的点云数据，其中，点云数据包含第一深度信息集合，并且点云数据与二维图像时间同步；基于第一深度信息集合、深度梯度信息和深度信息图像生成第二深度信息集合。本申请实施例借助二维图像弥补了点云数据中的第一深度信息集合的稠密度较低的缺陷，并且充分利用了点云数据中所包含的高精度的深度信息，从而最终提高了所确定的深度信息的稠密度和精度。

【技术实现步骤摘要】
深度信息确定方法、深度信息确定装置及电子设备
本公开涉及图像处理
，具体涉及一种深度信息确定方法、深度信息确定装置及电子设备。
技术介绍
深度信息作为支持计算机视觉技术的重要信息，对三维重建有着重要的意义。尤其在自动驾驶领域，深度信息更是不可或缺的信息之一。然而，在现有基于激光雷达技术确定深度信息的方案中，所获取的深度信息的稠密度较低，无法达到实用的要求。
技术实现思路
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种深度信息确定方法、深度信息确定装置及电子设备。在一方面，本申请实施例提供了一种深度信息确定方法，该深度信息确定方法包括：基于二维图像确定深度信息图像；基于深度信息图像确定深度梯度信息；确定二维图像对应的点云数据，其中，点云数据包含第一深度信息集合，并且点云数据与二维图像时间同步；基于第一深度信息集合、深度梯度信息和深度信息图像生成第二深度信息集合。在另一方面，本申请实施例提供了一种深度信息确定装置，该深度信息确定装置包括：深度信息图像确定模块，用于基于二维图像确定深度信息图像；深度梯度信息确定模块，用于基于深度信息图像确定深度梯度信息；点云数据确定模块，用于确定二维图像对应的点云数据，其中，点云数据包含第一深度信息集合，并且点云数据与二维图像时间同步；第二深度信息集合生成模块，用于基于第一深度信息集合、深度梯度信息和深度信息图像生成第二深度信息集合。本申请实施例所提及的深度信息确定方法，通过基于与待确定深度信息的当前场景相关的二维图像确定深度信息图像，并确定二维图像对应的包含第一深度信息集合的点云数据，然后基于点云数据的第一深度信息集合和二维图像的深度信息图像生成第二深度信息集合的方式，实现了基于二维图像和与二维图像对应的点云数据来确定待确定深度信息的当前场景的深度信息的目的。也就是说，本申请实施例提供的深度信息确定方法，借助二维图像弥补了点云数据中的第一深度信息集合的稠密度较低的缺陷，并且充分利用了点云数据中所包含的高精度的深度信息。与现有深度信息确定方法相比，本申请实施例通过将二维图像和与二维图像对应的点云数据相结合以确定当前场景的深度信息的方式，提高了所确定的深度信息的稠密度和精度，从而为后续基于深度信息进行的三维重建等技术提供了良好的数据支持。附图说明通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是本申请所适用的场景图。图2是本申请一示例性实施例提供的深度信息确定方法的流程示意图。图3是本申请另一示例性实施例提供的基于第一深度信息集合、深度梯度信息和深度信息图像生成第二深度信息集合的流程示意图。图4是本申请又一示例性实施例提供的基于深度信息单元集合和投影点集合确定第二深度信息集合的流程示意图。图5是本申请再一示例性实施例提供的基于中间深度信息集合和深度信息单元集合生成第二深度信息集合的流程示意图。图6是本申请再一示例性实施例提供的基于对应的投影点的深度信息确定深度信息单元的中间深度信息的流程示意图。图7是本申请再一示例性实施例提供的基于深度梯度信息将深度信息图像划分为多个深度信息单元，生成深度信息单元集合的流程示意图。图8是本申请一示例性实施例提供的深度信息确定装置的结构示意图。图9是本申请另一示例性实施例提供的深度信息确定装置的第二深度信息集合生成模块的结构示意图。图10是本申请又一示例性实施例提供的深度信息确定装置的第二深度信息集合确定单元的结构示意图。图11是本申请再一示例性实施例提供的深度信息确定装置的第二深度信息集合生成子单元的结构示意图。图12是本申请再一示例性实施例提供的深度信息确定装置的中间深度信息确定子单元的结构示意图。图13是本申请再一示例性实施例提供的深度信息确定装置的划分单元的结构示意图。图14是本申请一示例性实施例提供的电子设备的结构示意图。具体实施方式下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。申请概述在计算机视觉
，深度信息的重要性不言而喻。尤其在自动驾驶领域，深度信息更是不可或缺的信息之一。目前，通常利用激光雷达来确定场景深度信息。但是，利用激光雷达来确定深度信息时，无法确定场景中物体和像素的稠密的深度信息，并且线束越低的激光雷达所确定的深度信息越是稀疏，无法达到实用的要求。亦或者，在现有技术中，通过利用深度神经网络模型来对拍摄的图像进行处理的方式确定场景深度信息。然而，通过此种方式确定的深度信息的精度远远不及利用激光雷达确定的深度信息的精度。针对上述技术问题，本申请的基本构思是提出一种深度信息确定方法、深度信息确定装置及电子设备，该深度信息确定方法通过基于二维图像确定深度信息图像，并基于深度信息图像确定深度梯度信息，然后确定二维图像对应的点云数据，其中，点云数据包含第一深度信息集合，并且点云数据与二维图像时间同步，最后基于第一深度信息集合、深度梯度信息和深度信息图像生成第二深度信息集合的方式，实现了结合二维图像以及与二维图像对应的点云数据来确定具备高精度和高稠密度特性的场景深度信息的目的。由于本申请实施例所提供的深度信息确定方法能够结合二维图像以及与二维图像对应的点云数据来确定场景深度信息，因此，与现有确定场景深度信息的方法相比，本申请实施例所确定的场景深度信息具备高精度和高稠密度特性。具备高精度和高稠密度特性的深度信息为自动驾驶等计算机视觉技术的发展奠定基础。在介绍了本申请所要解决的技术问题以及本申请的基本构思之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。示例性系统图1是本申请所适用的场景图。如图1所示，本申请所适用的场景为针对可移动设备的行驶区域的深度信息确定场景，其中，该深度信息确定场景中包括服务器1和可移动设备2，服务器1获取可移动设备2拍摄的二维图像，并获取与二维图像对应且与二维图像时间同步的点云数据，然后根据获取的二维图像和点云数据进行深度信息确定操作。具体地，可移动设备2用于拍摄二维图像；服务器1用于基于二维图像确定深度信息图像，并基于深度信息图像确定深度梯度信息，然后确定二维图像对应的点云数据，其中，点云数据包含第一深度信息集合，并且点云数据与二维图像时间同步，最后基于第一深度信息集合、深度梯度信息和深度信息图像生成第二深度信息集合。通过该场景，可降低可移动设备2的计算量。需要说明的是，本申请还适用于另一场景。具体地，该场景中包括可移动设备2。具体地，可移动设备2拍摄二维图像，并基于二维图像确定深度信息图像，并基于深度信本文档来自技高网...

【技术保护点】
1.一种深度信息确定方法，包括：/n基于二维图像确定深度信息图像；/n基于所述深度信息图像确定深度梯度信息；/n确定所述二维图像对应的点云数据，其中，所述点云数据包含第一深度信息集合，并且所述点云数据与所述二维图像时间同步；/n基于所述第一深度信息集合、所述深度梯度信息和所述深度信息图像生成第二深度信息集合。/n

【技术特征摘要】
1.一种深度信息确定方法，包括：
基于二维图像确定深度信息图像；
基于所述深度信息图像确定深度梯度信息；
确定所述二维图像对应的点云数据，其中，所述点云数据包含第一深度信息集合，并且所述点云数据与所述二维图像时间同步；
基于所述第一深度信息集合、所述深度梯度信息和所述深度信息图像生成第二深度信息集合。


2.根据权利要求1所述的方法，其中，所述第一深度信息集合包括所述点云数据中的每个点的深度信息；所述基于所述第一深度信息集合、所述深度梯度信息和所述深度信息图像生成第二深度信息集合，包括：
基于所述深度梯度信息将所述深度信息图像划分为多个深度信息单元，生成深度信息单元集合；
将所述点云数据中的所有点投影到所述深度信息图像中，确定投影点集合；
基于所述深度信息单元集合和所述投影点集合确定第二深度信息集合。


3.根据权利要求2所述的方法，其中，所述基于所述深度信息单元集合和所述投影点集合确定第二深度信息集合，包括：
确定所述深度信息单元集合中的每一深度信息单元对应的投影点，基于对应的投影点的深度信息确定所述深度信息单元的中间深度信息；
基于所有所述深度信息单元对应的中间深度信息生成中间深度信息集合；
基于所述中间深度信息集合和所述深度信息单元集合生成第二深度信息集合。


4.根据权利要求3所述的方法，其中，所述基于所述中间深度信息集合和所述深度信息单元集合生成第二深度信息集合，包括：
基于所述深度信息单元集合，分别利用所述中间深度信息集合中的每一中间深度信息替换对应的所述深度信息单元；
将所述中间深度信息集合和未被替换的所述深度信息单元组合在一起，生成第二深度信息集合。


5.根据权利要求3所述的方法，其中，所述基于对应的投影点的深度信息...

【专利技术属性】
技术研发人员：彭强，丁匡正，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11