一种对深度图像和激光点云图进行信息融合的方法与设备技术

本申请的目的是提供一种对深度图像和激光点云图进行信息融合的设备的方法或设备；获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。与现有技术相比，本申请可以通过像素深度信息稠密但相对不精确的相机与点云深度信息准确但相对稀疏的激光雷达进行优势互补，得到被检测对象对应的稠密且相对准确的深度信息，在提高深度信息精度的同时，有效缩短了计算时间，从而有效降低了设备及计算成本，有利于产品及方法的推广应用。

A method and equipment for information fusion of deep image and laser point cloud image

This application is intended to provide a method and apparatus for depth image information fusion and laser point cloud or equipment; obtaining laser point to be processed image and depth image, wherein, the laser point cloud and the depth of the image corresponding to the same spatial range; determine the target laser point of the laser point cloud match the target pixels of the image in the depth of the target point; laser and matching the target pixel based on the simulation of filling of the laser point cloud. Compared with the prior art, the application can through the pixel depth information dense but the camera and point cloud depth information relatively accurate but relatively sparse lidar are complementary, get the depth information corresponding to the detected object dense and relatively accurate, in improving the accuracy of depth information at the same time, shorten the calculation time. In order to effectively reduce the cost of equipment and calculation, and is favorable for promotion and application products and methods.

【技术实现步骤摘要】
一种对深度图像和激光点云图进行信息融合的方法与设备
本申请涉及自动驾驶领域，尤其涉及一种对深度图像和激光点云图进行信息融合的技术。
技术介绍
现有的深度信息探测技术中，利用激光雷达得到的深度信息准确度较高但相对稀疏，利用双目相机等深度相机通过几何光学关系推导出来的深度信息虽然比较稠密但准确度较低。为适应机器人、无人驾驶等人工智能科技发展的需求，多传感器融合是现在科技研发的趋势，能够结合各传感器优势从而达到最佳效果。现有的激光雷达和相机传感器在自动驾驶领域当中应用较多，通常情况下，两种传感器往往独立运行，分别感知信息之后在决策层面再进行整合分析；或者也存在将多组高清度摄像头和多线激光雷达进行融合的多传感融合技术，主要是采用图像分割的方法，假设各平面的深度具有相似性，从而分别对落在各平面中的相应激光点进行填充扩散，从而得到稠密的激光点云，但是此方法对控制器的运算能力要求较高，所需时间较长，设备及计算成本较高。
技术实现思路
本申请的目的是提供一种对深度图像和激光点云图进行信息融合的方法与设备。根据本申请的一个方面，提供了一种对深度图像和激光点云图进行信息融合的方法，包括：获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。根据本申请的另一个方面，提供了一种对深度图像和激光点云图进行信息融合的设备，包括：获取装置，用于获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；确定装置，用于确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；融合装置，用于基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。根据本申请的另一方面，还提供了一种对深度图像和激光点云图进行信息融合的设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下操作：获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。根据本申请的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行以下操作：获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。与现有技术相比，本申请基于对应于同一空间范围的激光点云图与深度图像中相匹配的目标激光点和目标像素点，实现对原有的激光点云图进行模拟填充。从而可以通过像素深度信息稠密但相对不精确的相机与点云深度信息准确但相对稀疏的激光雷达进行优势互补，得到被检测对象对应的稠密且相对准确的深度信息，本申请中对深度图像和激光点云图进行信息融合的方法，在提高深度信息精度的同时，有效缩短了计算时间，从而有效降低了设备及计算成本，有利于产品及方法的推广应用。从而能够极大满足机器人、自动驾驶等人工智能科技发展对高效便捷的信息融合技术的需求的需求。进一步，具体地，本申请可以通过先对激光扫描线上的第一空位点进行模拟填充，并再对各个激光扫描线彼此之间的第二空位点进行模拟填充的方式，获取到与深度图像中目标像素点对应的激光点云图中各个空位点的精确化的深度信息，例如，通过分步式拟合插值方法迅速得到稠密且准确度较高的融合点云图像。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的方法流程图；图2示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的设备的设备示意图；图3示出了可被用于实施本申请中所述的各个实施例的示例性系统；附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。图1示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的方法流程图。其中，所述方法包括步骤S11、步骤S12和步骤S13。其中，在步骤S11中，获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；在步骤S12中，确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；在步骤S13中，基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。具体地，在步骤S11中，可以获取待处理的激光点云图与深度图像，其中，所述激本文档来自技高网...

【技术保护点】
一种对深度图像和激光点云图进行信息融合的方法，其中，所述方法包括：获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于的同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。

【技术特征摘要】
1.一种对深度图像和激光点云图进行信息融合的方法，其中，所述方法包括：获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于的同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。2.根据权利要求1所述的方法，其中，所述基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充包括以下至少任一项：基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充；基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充，其中，所述目标激光点分布在所述相邻激光扫描线上。3.根据权利要求2所述的方法，其中，所述基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充包括：基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定与所述目标激光点在同一激光扫描线上的第一空位点对应的深度关系信息；基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。4.根据权利要求2所述的方法，其中，基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充包括：基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定所述激光点云图中相邻激光扫描线之间的第二空位点对应的深度关系信息，其中，所述目...

【专利技术属性】
技术研发人员：蔡少骏，张蓉，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11