用于激光深度图取样的系统及方法技术方案

本发明专利技术公开一种电子装置(102)，其包含经配置以捕获场景的图像的相机(104)。所述电子装置还包含图像分割测绘仪(116)，所述图像分割测绘仪经配置以基于图像内容而对所述图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述电子装置进一步包含经配置以存储所述图像及所述空间坐标的存储器(144)。所述电子装置另外包含光检测与测距单元LIDAR(114)，所述LIDAR单元可转向以选择性地获得对应于所述空间坐标的至少子集的深度值。所述电子装置进一步包含经配置以基于所述深度值及所述空间坐标而生成所述场景的深度图的深度测绘仪(118)。

System and method for laser depth map sampling

The invention discloses an electronic device (102), which comprises a camera configured to capture images of the scene (104). The electronic device also includes an image segmentation plotter (116) configured to perform segmentation of the image based on image content to generate a plurality of image segments, each of which is associated with a spatial coordinate indicating the position of each segment in the scene. The electronic device further comprises a memory (144) configured to store the image and the spatial coordinates. The electronic device further comprises an optical detection and ranging unit LIDAR (114), which can be turned to selectively obtain depth values corresponding to at least a subset of the spatial coordinates. The electronic device further comprises a depth plotter (118) configured to generate a depth map of the scene based on the depth value and the spatial coordinates.

【技术实现步骤摘要】
【国外来华专利技术】用于激光深度图取样的系统及方法
本专利技术大体来说涉及电子装置。更具体来说，本专利技术涉及用于深度图取样的系统及方法。
技术介绍
在过去数十年，电子装置的使用已变得普通。特定来说，电子技术的进步已减少日益复杂且有用的电子装置的成本。成本减少及消费者需求已使电子装置的使用激增使得其在现代社会中实际上普遍存在。随着电子装置的使用已扩大，因此具有对电子装置的新且经改进的特征的需求。更具体来说，经常追求执行新功能及/或更快、更高效或以较高质量执行功能的电子装置。一些电子装置(例如，相机、视频便携式摄像机、数字相机、蜂窝式电话、智能电话、计算机、电视等)可使用LIDAR(光+雷达)扫描创建深度图。使用LIDAR扫描对场景进行密集取样在时间及功率方面较昂贵。此可导致低帧速率及电池耗尽。如从此论述可观察到，改进LIDAR深度图取样的系统及方法可为有益的。
技术实现思路
本专利技术描述一种电子装置。所述电子装置包含经配置以捕获场景的图像的相机。所述电子装置还包含图像分割测绘仪，所述图像分割测绘仪经配置以基于图像内容而对图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述电子装置进一步包含经配置以存储所述图像及所述空间坐标的存储器。电子装置另外包含LIDAR(光+雷达)单元，LIDAR单元可转向以选择性获得对应于空间坐标的至少子集的深度值。所述电子装置进一步包含经配置以基于所述深度值及所述空间坐标而生成所述场景的深度图的深度测绘仪。图像片段的至少部分包括界定对象在图像内的边界的不均匀片段。图像分割测绘仪可经配置以基于图像复杂度执行分割。所生成的片段的数量可随图像的所确定复杂度而变。LIDAR单元可经配置以对含有场景内的基本上均匀对象的场景的区域执行粗糙扫描。图像分割测绘仪可经配置以将空间坐标提供到LIDAR单元且可经配置以将图像的片段提供到深度测绘仪。深度测绘仪可经配置以通过将片段与对应深度值合并来生成深度图。深度测绘仪可经配置以通过用由LIDAR单元在空间坐标处获得的对应深度值填充每一片段来生成深度图。由LIDAR单元获得的多个深度值可经配置以基于来自先前深度图的反馈得以调整。片段的空间坐标可对应于片段的图心。本专利技术还描述一种方法。所述方法包含捕获场景的图像。所述方法还包含基于图像内容而对图像执行分割，所述多个片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述方法进一步包含通过LIDAR(光+雷达)单元获得对应于空间坐标的至少子集的深度值。所述LIDAR单元可转向以选择性获得所述深度值。所述方法另外包含基于所述深度值及所述空间坐标而生成所述场景的深度图。本专利技术还描述一种设备。所述设备包含用于捕获场景的图像的装置。所述设备还包含用于基于图像内容而对图像执行分割的装置，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述设备进一步包含用于通过LIDAR单元获得对应于空间坐标的至少子集的深度值的装置。所述LIDAR单元可转向以选择性获得所述深度值。所述设备另外包含用于基于所述深度值及所述空间坐标而生成所述场景的深度图的装置。本专利技术还描述计算机程序产品。计算机程序产品包含其上具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置捕获场景的图像的代码。所述指令还包含用于致使电子装置基于图像内容而对图像执行分割以生成多个图像片段的代码，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述指令进一步包含用于致使电子装置通过LIDAR单元获得对应于空间坐标的至少子集的深度值的代码。所述LIDAR单元可转向以选择性获得所述深度值。所述指令另外包含用于致使电子装置基于深度值及空间坐标生成场景的深度图的代码。附图说明图1为说明经配置以执行图像辅助的LIDAR(光+雷达)深度图取样的电子装置的框图；图2为说明经配置以执行图像辅助的LIDAR深度图取样的电子装置的另一配置的框图；图3为说明用于执行图像辅助的LIDAR深度图取样的方法的流程图；图4为说明用于执行图像辅助的LIDAR深度图取样的另一方法的流程图；图5A到5C说明从图像生成分割图的实例；图6A到6D说明图像辅助的LIDAR深度图取样的实例；图7A到7D说明图像辅助的LIDAR深度图取样的另一实例；图8为说明其中可实施用于图像辅助的LIDAR深度图取样的系统及方法的电子装置的一个实例的框图；及图9说明可包含在电子装置内的某些组件。具体实施方式在许多应用中，生成场景中的对象的深度图是重要的。例如，关于高级驾驶辅助系统(ADAS)，识别车辆前面的可驾驶区以实现障碍回避是重要的。障碍检测可使用深度图来识别交通标志(例如，速度限制标志、停车标志、路标，等)。深度图为重要的另一情景为自主载具(例如，无人飞行载具(UAV)或自主汽车)感测器环境且无需人输入进行导航的载具自动化。深度图生成还可用于各种生产及娱乐情景。例如，房间或环境的深度图可用于社交、增强或虚拟真实、3-D重建、安全和保安及类似应用。更进一步，可参考深度用于图像及/或视频捕获以例如辅助自动聚焦操作。在这些及其它情景中，智能地获取准确且精确地捕获场景、房间或环境的深度信息的深度图可为有利的。可使用LIDAR(光+雷达)扫描来对对象的深度值进行取样。在LIDAR中，激光可照射对象且可通过分析反射光来确定对象距离参考位置的距离(即，深度值)。对场景的密集取样在时间及功率方面较昂贵，从而导致低帧速率及电池耗尽。然而，在正则点处的均匀(即，简捷)LIDAR扫描可导致差质量深度图。类似地，甚至在采用不考虑场景内容的均匀或预定义扫描模式时，密集取样可能仍丢失小对象，从而导致深度图误差。在本文中所描述的系统及方法中，替代基于均匀扫描点执行LIDAR扫描，LIDAR单元可执行图像辅助的LIDAR深度图取样。定位在LIDAR单元附近的相机可捕获场景的一或多个图像。可对此图像或图像集进行分割。片段可在图像中沿循对象的边界，因此保留对象的边缘。例如，可将片段的图心的空间坐标(X、Y位置)提供到LIDAR单元，所述LIDAR单元在那些空间坐标处执行LIDAR扫描。可将由LIDAR单元从扫描产生的深度值填充在对应片段中以创建场景的深度图。例如，可赋予每一片段与相应片段图心的深度相关联的均匀深度。下文更详细地阐释用于图像辅助的LIDAR深度图采样的系统及方法。图1为说明经配置以执行图像辅助的LIDAR深度图取样的电子装置102的框图。电子装置102还可被称作无线通信装置、移动装置、移动站、订户站、客户端、客户端站、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元，等电子装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统，机器人、航空器、无人飞行载具(UAV)、汽车，等。这些装置中的一些可根据一或多个行业标准操作。在许多情景中，电子装置102可使用场景的深度图120。在一个实例中，智能电话可生成场景的深度图120。在另一实例中，汽车可包含高级驾驶辅助系统(ADAS)，所述ADAS可使用深度图120来基于所检测到交通标志、信号及/或其它对象而调节汽本文档来自技高网...

【技术保护点】
1.一种电子装置，其包括：相机，其经配置以捕获场景的图像；图像分割测绘仪，其经配置以基于图像内容而对所述图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联；存储器，其经配置以存储所述图像及所述空间坐标；LIDAR(光+雷达)单元，所述LIDAR单元可转向以选择性获得对应于所述空间坐标的至少子集的深度值；以及深度测绘仪，其经配置以基于所述深度值及所述空间坐标而生成所述场景的深度图。

【技术特征摘要】
【国外来华专利技术】2015.08.24 US 14/833,5731.一种电子装置，其包括：相机，其经配置以捕获场景的图像；图像分割测绘仪，其经配置以基于图像内容而对所述图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联；存储器，其经配置以存储所述图像及所述空间坐标；LIDAR(光+雷达)单元，所述LIDAR单元可转向以选择性获得对应于所述空间坐标的至少子集的深度值；以及深度测绘仪，其经配置以基于所述深度值及所述空间坐标而生成所述场景的深度图。2.根据权利要求1所述的电子装置，其中所述图像片段的至少部分包括界定对象在所述图像内的边界的不均匀片段。3.根据权利要求1所述的电子装置，其中所述图像分割测绘仪经配置以基于图像复杂度而执行分割，其中所生成的片段的数量随所述图像的所确定复杂度而变。4.根据权利要求1所述的电子装置，其中所述LIDAR单元经配置以对含有所述场景内的基本上均匀对象的所述场景的区域执行粗糙扫描。5.根据权利要求1所述的电子装置，其中所述片段的所述空间坐标对应于所述片段的图心。6.根据权利要求1所述的电子装置，其中所述图像分割测绘仪经配置以将所述空间坐标提供到所述LIDAR单元且将所述图像的所述片段提供到所述深度测绘仪。7.根据权利要求1所述的电子装置，其中所述深度测绘仪经配置以通过将所述片段与对应深度值合并来生成所述深度图。8.根据权利要求1所述的电子装置，其中所述深度测绘仪经配置以通过用由所述LIDAR单元在所述空间坐标处获得的对应深度值填充每一片段来生成所述深度图。9.根据权利要求1所述的电子装置，其中由所述LIDAR单元获得的多个深度值经配置以基于来自先前深度图的反馈而得以调整。10.一种方法，其包括：捕获场景的图像；基于图像内容而对所述图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联；通过LIDAR单元，获得对应于所述空间坐标的至少子集的深度值，其中所述LIDAR单元可转向以选择性获得所述深度值；以及基于所述深度值及所述空间坐标而生成所述场景的深度图。11.根据权利要求10所述的方法，其中所述图像片段的至少部分包括界定对象在所述图像内的边界的不均匀片段。12.根据权利要求10所述的方法，其中执行所述图像的分割包括基于图像复杂度而执行分割，其中所生成的片段的数量随所述图像的所确定复杂度而变。13.根据权利要求10所述的方法，其中所述LIDAR单元经配置以对含有所述场景内的基本上均匀对象的所述场景的区域执行粗糙扫描。14.根据权利要求10所述的方法，其中生成所述深度图包括将所述片段与对应深度值合并。15.根据权利要求10所述的方法，其中生成所述深度图包括用由所述LIDAR单元在所述空间坐标处获得的对应深度值填充每一片段。16.根据权利要求10所述的方法，其进一步包括基于来自先前深度图的反馈而调整由所述LIDAR单元获...

【专利技术属性】
技术研发人员：A·J·林德纳，V·斯洛博佳纽克，S·M·维罗尔，K·M·阿塔纳索夫，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US