用于激光深度图取样的系统及方法技术方案

本发明专利技术公开了一种用于运载工具的自动控制的方法，包括：基于对第一接收到的图像的内容分析来生成第一多个空间坐标集，每个空间坐标集指示在第一接收到的图像中的第一对象内的片段的位置，其中，片段的至少一部分具有沿循第一对象的边界的边界；向LIDAR单元提供第一多个空间坐标集，以选择性地获得在场景中在运载工具外部的代表第一多个空间坐标的位置处的指示深度的信息；基于第一多个空间坐标集和从LIDAR单元接收的深度信息来确定第一对象相对于运载工具的位置；以及基于所确定的第一对象的位置来确定用于运载工具操作的指令。本发明专利技术还公开了一种利用电子设备捕获图像的方法。本发明专利技术还公开了若干其它方面。本发明专利技术还公开了若干其它方面。本发明专利技术还公开了若干其它方面。

【技术实现步骤摘要】
用于激光深度图取样的系统及方法
[0001]本申请是申请日为2016年7月11日，申请号为201680046908.3、名称为“用于激光深度图取样的系统及方法”的专利技术专利申请的分案申请。


[0002]本专利技术大体来说涉及电子装置。更具体来说，本专利技术涉及用于深度图取样的系统及方法。

技术介绍

[0003]在过去数十年，电子装置的使用已变得普通。特定来说，电子技术的进步已减少日益复杂且有用的电子装置的成本。成本减少及消费者需求已使电子装置的使用激增使得其在现代社会中实际上普遍存在。随着电子装置的使用已扩大，因此具有对电子装置的新且经改进的特征的需求。更具体来说，经常追求执行新功能及/或更快、更高效或以较高质量执行功能的电子装置。
[0004]一些电子装置(例如，相机、视频便携式摄像机、数字相机、蜂窝式电话、智能电话、计算机、电视等)可使用LIDAR(光+雷达)扫描创建深度图。使用LIDAR扫描对场景进行密集取样在时间及功率方面较昂贵。此可导致低帧速率及电池耗尽。如从此论述可观察到，改进LIDAR深度图取样的系统及方法可为有益的。

技术实现思路

[0005]本专利技术描述一种电子装置。所述电子装置包含经配置以捕获场景的图像的相机。所述电子装置还包含图像分割测绘仪，所述图像分割测绘仪经配置以基于图像内容而对图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述电子装置进一步包含经配置以存储所述图像及所述空间坐标的存储器。电子装置另外包含LIDAR(光+雷达)单元，LIDAR单元可转向以选择性获得对应于空间坐标的至少子集的深度值。所述电子装置进一步包含经配置以基于所述深度值及所述空间坐标而生成所述场景的深度图的深度测绘仪。
[0006]图像片段的至少部分包括界定对象在图像内的边界的不均匀片段。图像分割测绘仪可经配置以基于图像复杂度执行分割。所生成的片段的数量可随图像的所确定复杂度而变。
[0007]LIDAR单元可经配置以对含有场景内的基本上均匀对象的场景的区域执行粗糙扫描。图像分割测绘仪可经配置以将空间坐标提供到LIDAR单元且可经配置以将图像的片段提供到深度测绘仪。
[0008]深度测绘仪可经配置以通过将片段与对应深度值合并来生成深度图。深度测绘仪可经配置以通过用由LIDAR单元在空间坐标处获得的对应深度值填充每一片段来生成深度图。
[0009]由LIDAR单元获得的多个深度值可经配置以基于来自先前深度图的反馈得以调
整。片段的空间坐标可对应于片段的图心。
[0010]本专利技术还描述一种方法。所述方法包含捕获场景的图像。所述方法还包含基于图像内容而对图像执行分割，所述多个片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述方法进一步包含通过LIDAR(光+雷达)单元获得对应于空间坐标的至少子集的深度值。所述LIDAR单元可转向以选择性获得所述深度值。所述方法另外包含基于所述深度值及所述空间坐标而生成所述场景的深度图。
[0011]本专利技术还描述一种设备。所述设备包含用于捕获场景的图像的装置。所述设备还包含用于基于图像内容而对图像执行分割的装置，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述设备进一步包含用于通过LIDAR单元获得对应于空间坐标的至少子集的深度值的装置。所述LIDAR单元可转向以选择性获得所述深度值。所述设备另外包含用于基于所述深度值及所述空间坐标而生成所述场景的深度图的装置。
[0012]本专利技术还描述计算机程序产品。计算机程序产品包含其上具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置捕获场景的图像的代码。所述指令还包含用于致使电子装置基于图像内容而对图像执行分割以生成多个图像片段的代码，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述指令进一步包含用于致使电子装置通过LIDAR单元获得对应于空间坐标的至少子集的深度值的代码。所述LIDAR单元可转向以选择性获得所述深度值。所述指令另外包含用于致使电子装置基于深度值及空间坐标生成场景的深度图的代码。
附图说明
[0013]图1为说明经配置以执行图像辅助的LIDAR(光+雷达)深度图取样的电子装置的框图；
[0014]图2为说明经配置以执行图像辅助的LIDAR深度图取样的电子装置的另一配置的框图；
[0015]图3为说明用于执行图像辅助的LIDAR深度图取样的方法的流程图；
[0016]图4为说明用于执行图像辅助的LIDAR深度图取样的另一方法的流程图；
[0017]图5A到5C说明从图像生成分割图的实例；
[0018]图6A到6D说明图像辅助的LIDAR深度图取样的实例；
[0019]图7A到7D说明图像辅助的LIDAR深度图取样的另一实例；
[0020]图8为说明其中可实施用于图像辅助的LIDAR深度图取样的系统及方法的电子装置的一个实例的框图；及
[0021]图9说明可包含在电子装置内的某些组件。
具体实施方式
[0022]在许多应用中，生成场景中的对象的深度图是重要的。例如，关于高级驾驶辅助系统(ADAS)，识别车辆前面的可驾驶区以实现障碍回避是重要的。障碍检测可使用深度图来识别交通标志(例如，速度限制标志、停车标志、路标，等)。深度图为重要的另一情景为自主载具(例如，无人飞行载具(UAV)或自主汽车)感测器环境且无需人输入进行导航的载具自
动化。
[0023]深度图生成还可用于各种生产及娱乐情景。例如，房间或环境的深度图可用于社交、增强或虚拟真实、3
‑
D重建、安全和保安及类似应用。更进一步，可参考深度用于图像及/或视频捕获以例如辅助自动聚焦操作。在这些及其它情景中，智能地获取准确且精确地捕获场景、房间或环境的深度信息的深度图可为有利的。
[0024]可使用LIDAR(光+雷达)扫描来对对象的深度值进行取样。在LIDAR中，激光可照射对象且可通过分析反射光来确定对象距离参考位置的距离(即，深度值)。对场景的密集取样在时间及功率方面较昂贵，从而导致低帧速率及电池耗尽。然而，在正则点处的均匀(即，简捷)LIDAR扫描可导致差质量深度图。类似地，甚至在采用不考虑场景内容的均匀或预定义扫描模式时，密集取样可能仍丢失小对象，从而导致深度图误差。
[0025]在本文中所描述的系统及方法中，替代基于均匀扫描点执行LIDAR扫描，LIDAR单元可执行图像辅助的LIDAR深度图取样。定位在LIDAR单元附近的相机可捕获场景的一或多个图像。可对此图像或图像集进行分割。片段可在图像中沿循对象的边界，因此保留对象的边缘。例如，可将片段的图心的空间坐标(X、Y位置)提供到LIDAR单元，所述LIDAR单元在那些空间坐标处执行LIDAR扫描。可将由LIDAR单元从扫描产生的深度值填充在对应片段中以创建场景的深度图。例如，可赋予本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于运载工具的自动控制的装置，包括：存储器；以及至少一个处理器，其耦合到所述存储器，所述至少一个处理器被配置为：基于对第一接收到的图像的内容分析来生成第一多个空间坐标集，每个空间坐标集指示在所述第一接收到的图像中的第一对象内的片段的位置，其中，所述片段的至少一部分具有沿循所述第一对象的边界的边界；向通信地耦合到所述处理器的LIDAR(光+雷达)单元提供所述第一多个空间坐标集，以选择性地获得在场景中在所述运载工具外部的代表所述第一多个空间坐标的位置处的指示深度的信息；基于所述第一多个空间坐标集和从所述LIDAR单元接收的所述深度信息来确定所述第一对象相对于所述运载工具的位置；以及基于所确定的所述第一对象的位置来确定用于运载工具操作的指令。2.根据权利要求1所述的装置，其中，所述片段的至少一部分是几何结构和大小不规则的，并且所述片段是在所述第一对象内不均匀分布的。3.根据权利要求1所述的装置，其中，所述处理器还被配置为：基于所接收的深度信息和所述第一多个空间坐标集来生成针对所述第一对象的第二多个空间坐标集，其中，所述第二多个空间坐标集在所述第一对象内相对于所述第一多个空间坐标集不同地分布；以及向所述LIDAR单元提供所述第二多个空间坐标集，以选择性地获得在所述场景中在所述运载工具外部的代表所述第二多个空间坐标的位置处的更新的指示深度的信息。4.根据权利要求3所述的装置，其中，所述第一多个空间坐标集和所接收的深度信息是基于所述运载工具的移动来转换的。5.根据权利要求3所述的装置，其中，内容分析包括所述处理器配置为执行以下操作中的至少一项：确定所述第一对象的多个边界；或者确定所述第一对象的颜色或灰度差。6.根据权利要求5所述的装置，其中，所述多个边界中的至少一部分具有与对象中的一个或多个对象对齐的不规则的几何结构。7.根据权利要求1所述的装置，其中，所述处理器或所述LIDAR单元被配置为将所述第一多个空间坐标集转换为LIDAR坐标空间。8.根据权利要求1所述的装置，其中，所述第一对象是第二运载工具、行人、车道边界或标志中的一者。9.根据权利要求1所述的装置，其中，所述运载工具操作是速度改变、刹车操作、转向操作、或驾驶者或乘客通知中的至少一项。10.一种用于运载工具的自动控制的方法，包括：基于对第一接收到的图像的内容分析来生成第一多个空间坐标集，每个空间坐标集指示在所述第一接收到的图像中的第一对象内的片段的位置，其中，所述片段的至少一部分具有沿循所述第一对象的边界的边界；向LIDAR(光+雷达)单元提供所述第一多个空间坐标集，以选择性地获得在场景中在所述运载工具外部的代表所述第一多个空间坐标的位置处的指示深度的信息；基于所述第一多个空间坐标集和从所述LIDAR单元接收的所述深度信息来确定所述第
一对象相对于所述运载工具的位置；以及基于所确定的所述第一对象的位置来确定用于运载工具操作的指令。11.根据权利要求10所述的方法，其中，所述片段的至少一部分是几何结构和大小不规则的，并且所述片段是在所述第一对象内不均匀分布的。12.根据权利要求10所述的方法，还包括：基于所接收的深度信息和所述第一多个空间坐标集来生成针对所述第一对象的第二多个空间坐标集，其中，所述第二多个空间坐标集在所述第一对象中相对于所述第一多个空间坐标集不同地分布；以及向所述LIDAR单元提供所述第二多个空间坐标集，以选择性地获得在所述场景中在所述运载工具外部的代表所述第二多个空间坐标的位置处的更新的指示深度的信息。13.根据权利要求10所述的方法，其中，内容分析包括以下操作中的至少一项：确定针对所述第一对象的多个边界；或者确定针对所述第一对象的颜色或灰度差。14.根据权利要求13所述的方法，所述多个边界中的至少一部分具有与对象中的一个或多个对象对齐的不规则的几何结构。15.一种成像设备，包括：照相机，其被配置为获得场景的图像信息，其中，所述照相机能够自动聚焦在所述场景中的感兴趣的区域上；LIDAR(光+雷达)单元，其被配置为获得在多个指定的扫描位置处的所述场景的至少一部分的深度信息，所述多个指定的扫描位置不均匀地分布在所述场景中；以及处理器，其被配置为：使用从所述照相机获得的图像信息或从所述LIDAR单元获得的深度信息中的至少一项来检测在所述场景中的对象；向所述LIDAR单元提供一个或多个指令...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：