LIDAR图像处理制造技术

提供了用于处理lidar数据的系统和方法。可以以允许重建直线图像的特定方式获得lidar数据，可以在图像之间对该直线图像应用图像处理。例如，可以使用基于内核的图像处理技术。这样的处理技术可以使用相邻的lidar和/或相关的颜色像素来调整与lidar信号相关的各种值。lidar和颜色像素的这种图像处理可以由专用电路执行，该电路可以在同一集成电路上。此外，lidar像素可以彼此相关。例如，分类技术可以将lidar和/或相关联的颜色像素识别为对应于同一对象。分类可以由人工智能(AI)协处理器执行。图像处理技术和分类技术可以组合成单个系统。统。统。

【技术实现步骤摘要】
【国外来华专利技术】LIDAR图像处理
[0001]相关申请的交叉引用
[0002]本申请要求2019年9月6日提交的题为“Lidar图像处理”的美国临时申请62/897,122的优先权并且是其PCT申请，其全部内容通过引用并入本文用于所有目的。

技术介绍

[0003]光检测和测距(LIDAR)系统用于对象检测和测距，例如，用于如汽车、卡车、船等交通工具。LIDAR系统还用于移动应用(例如，用于面部辨识)、家庭娱乐(例如，捕获用于视频游戏输入的手势捕获)和增强现实。LIDAR系统通过利用来自激光器的脉冲照射一个地景，且接着测量光子行进到对象且在反射之后返回的时间来测量与对象的距离，所述时间如LIDAR系统的接收器所测量。分析检测到的信号以检测背景光当中的反射信号脉冲的存在。可基于从脉冲的传输到对应反射脉冲的接收的飞行时间而确定与对象的距离。
[0004]可能难以在所有条件下提供达到几厘米的稳健距离准确性，特别是在LIDAR系统的经济成本下。提供关于整个周围环境，尤其是远处物体的广泛信息的可靠数据可能更加困难。获得对这种距离物体的预先了解对于车辆导航可能很重要。
[0005]另外，在如车辆导航等应用中，深度信息(例如，到环境中物体的距离)是非常有用的，但是不足以避让危险并安全地导航。还必须识别特定的物体，例如，交通信号、车道标记、可能与车辆的行驶路径相交的移动对象等。但是，3D点云的分析可能需要大量计算资源来为这些应用实时执行。

技术实现思路

[0006]本公开提供了用于分析lidar数据的系统和方法。例如，可以以允许重建直线图像的特定方式获得lidar数据，可以在图像之间对该直线图像应用图像处理。例如，可以使用基于内核的图像处理技术。这样的处理技术可以使用相邻的lidar和/或相关的颜色像素来调整与lidar信号相关的各种值。lidar和颜色像素的这种图像处理可以由专用电路执行，该电路可以在同一集成电路上。
[0007]在一些实施例中，lidar像素可以彼此相关。例如，分类技术可以将lidar和/或相关联的颜色像素识别为对应于同一对象。分类可以由人工智能(AI)协处理器执行。图像处理技术和分类技术可以组合成单个系统。
[0008]下文详细描述了本公开的这些和其它实施例。例如，其它实施例针对与本文所描述的方法相关联的系统、设备和计算机可读介质。
[0009]可以参考以下详细描述和附图来更好地了解本公开实施例的性质和优点。
附图说明
[0010]图1A和1B示出根据本公开实施例的汽车光测距装置，在本文中也称为LIDAR系统。
[0011]图2示出用于实施各种实施例的示例性lidar装置的框图。
[0012]图3说明可以通过实施例改进的典型lidar系统的操作。
[0013]图4示出根据本公开实施例的用于光测距系统的光传输和检测过程的说明性实例。
[0014]图5示出根据本公开实施例的传感器阵列和相关联电子件的各个级。
[0015]图6示出根据本公开实施例的直方图。
[0016]图7示出根据本公开实施例的用于选定像素的多个脉冲串上的直方图的累积。
[0017]图8示出根据本公开实施例的用于将匹配滤波器应用于原始直方图的一系列位置。
[0018]图9示出了根据本公开实施例的已经分配了来自像素传感器的深度值的全景lidar图像。
[0019]图10示出了根据本专利技术实施例的传感器阵列的简化正视图。
[0020]图11A和11B是简化概念图，其示出了在使用传感器阵列的扫描系统中指向错误的可能性。
[0021]图12示出了根据本公开实施例的使用F tanθ大块光学模块的成像系统的实例。
[0022]图13示出了根据本公开实施例的被配置为识别直方图中的信号并形成深度值的直线阵列以周期性地生成lidar帧的控制器。
[0023]图14示出了根据本公开实施例的包括控制器和lidar图像处理器的光测距系统。
[0024]图15示出了根据本公开实施例的包括控制器和lidar AI协处理器的光测距系统。
[0025]图16示出了根据本公开实施例的包括控制器、lidar图像处理器和lidar AI协处理器的光测距系统。
[0026]图17是示出根据本公开实施例的使用安装在移动设备上的光测距系统来执行测距的方法的流程图。
[0027]图18是示出根据本公开实施例的使用安装在移动设备上的光测距系统来执行测距的方法的流程图。
[0028]图19是示出使用安装在移动设备上的光测距系统执行测距的方法的流程图。
[0029]图20是示出根据本公开实施例的用于校正彩色图像的方法的流程图。
[0030]图21示出了根据本专利技术实施例的可与系统和方法一起使用的示例性计算机系统的框图。
[0031]术语
[0032]术语“测距”特别是当在用于测量环境或帮助车辆操作的方法和装置的背景下使用时可指代确定从一个方位或位置到另一方位或位置的距离或距离向量。“光测距”可指代利用电磁波来执行测距方法或功能的一类测距方法。因此，“光测距装置”可指代用于执行光测距方法或功能的装置。“Lidar”或“LIDAR”可指代通过以脉冲激光照射目标且其后以传感器测量反射脉冲来测量与目标的距离的一类光测距方法。因此，“lidar装置”或“lidar系统”可指代用于执行lidar方法或功能的一类光测距装置。“光测距系统”可指代包括至少一个光测距装置(例如，lidar装置)的系统。系统可进一步包括呈各种布置的一个或多个其它装置或组件。
[0033]“脉冲串”可指代一起传输的一个或多个脉冲。脉冲串的发射和检测可称为“激发”。激发可在“检测时间间隔”(或“检测间隔”)中发生。
[0034]“测量”可包含在N次激发中发射和检测到的N多个脉冲串，每一次激发持续检测时
间间隔。整个测量可在测量时间间隔(或仅“测量间隔”)中，其可等于测量的N个检测间隔或更长，例如当在检测间隔之间发生暂停时。
[0035]“光传感器”可以将光转换为电信号。光传感器可以包含多个“光检测器”，例如，单光子雪崩二极管(SPAD)。光传感器可对应于测距测量中的特定分辨率像素。
[0036]“直方图”可指代表示随时间的一连串值的任何数据结构，如在时间区间(time bin)上离散的值。直方图可具有指派给每一时间区间的值。举例来说，直方图可存储在一个或多个检测间隔中的每一个中的特定时间区间期间起动的光检测器的数目的计数器。作为另一实例，直方图可对应于模拟信号在不同时间的数字化。直方图可以包含信号(例如，脉冲)和噪声。因此，直方图可以视为作为光子时间序列或光子通量的信号和噪声的组合。原始/数字化直方图(或累积光子时间序列)可含有在存储器中数字化的信号和噪声而无需滤波。“滤波直方图”可指代在原始直方图通过滤波器之后的输出。
[0037]发出的信号/脉冲可以指代不失真的“标称”、“理想”或“模板”脉冲或脉冲串。反射信本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：基于内核的协处理器；和扫描光测距装置，包括：发射电路，所述发射电路包括多个发射光脉冲的光源；检测电路，所述检测电路包括：光传感器阵列，所述光传感器阵列检测反射光脉冲并输出随时间测量的信号；和信号处理器，所述信号处理器连接到所述光传感器阵列并且被配置为使用所述光传感器阵列从测量中确定深度值；和图像重建电路，所述图像重建电路与所述检测电路可通信地耦合并且被配置为：为所述扫描光测距装置的第一次扫描的每个第一深度值分配传感器ID；通过以下操作使用所述第一深度值构建第一lidar图像：使用所述传感器ID将所述第一深度值映射到所述第一lidar图像中的第一lidar像素，所述第一lidar图像是直线图像，其中，所述映射使用映射表，所述映射表基于对应的传感器ID指定lidar像素；以及将所述第一lidar图像的所述第一lidar像素存储在所述扫描光测距装置的本地图像缓存器中；以及将所述第一lidar图像的局部帧或所述第一lidar图像的完整帧的第一lidar像素发送到所述基于内核的协处理器。2.根据权利要求1所述的系统，其中，所述扫描光测距装置旋转。3.根据权利要求1所述的系统，其中，所述基于内核的协处理器与所述扫描光测距装置位于同一集成电路上。4.根据权利要求1所述的系统，其中，所述检测电路被配置为将每个深度值的传感器ID提供给所述图像重建电路。5.根据权利要求1所述的系统，其中，所述检测电路被配置为以指定顺序提供所述深度值，并且其中，所述图像重建电路被配置为基于所述指定顺序为特定深度值分配传感器ID。6.根据权利要求1所述的系统，其中，所述映射表的行包括所述传感器ID的列和指定lidar图像中lidar像素的坐标的另一列。7.根据权利要求1所述的系统，其中，所述图像重建电路被配置为确定何时已经为所述第一lidar图像存储了所述第一lidar像素的指定子集，并将所述第一lidar像素的所述指定子集发送到所述基于内核的协处理器。8.根据权利要求1所述的系统，其中，所述基于内核的协处理器包括分类器电路，所述分类器电路与所述扫描光测距装置可通信地耦合并且被配置为：接收所述图像重建电路输出的lidar图像；分析所述lidar图像的lidar像素中的所述深度值；基于一组lidar像素的对应深度值对所述一组lidar像素进行相关；以及基于所述相关输出所述一组lidar像素的分类信息。9.根据权利要求1所述的系统，其中，所述基于内核的协处理器包括深度成像电路，所述深度成像电路与所述扫描光测距装置可通信地耦合并且被配置为：接收所述第一lidar像素；以及
将一个或多个滤波器内核应用于所述第一lidar像素的子集，以生成lidar像素的滤波后的图像。10.一种系统，包括：光测距装置，所述光测距装置包括：发射电路，所述发射电路包括多个发射光脉冲的光源；和检测电路，所述检测电路包括：光传感器阵列，所述光传感器阵列检测反射光脉冲并输出随时间测量的信号；和测距电路，所述测距电路连接到所述光传感器阵列并且被配置为：使用所述光传感器阵列从测量中确定深度值以形成包括lidar像素的网格的lidar图像，其中，lidar像素包括深度值，所述lidar像素的网格在测量间隔期间形成环境的直线帧，以及周期性输出lidar图像，其中，每个lidar图像是在不同的测量间隔期间生成的，并且包括lidar像素的行和列；分类器电路，所述分类器电路与所述光测距装置可通信地耦合并且被配置为：接收所述测距电路输出的所述lidar图像；分析所述lidar图像的lidar像素中的所述深度值；基于一组lidar像素的对应深度值对所述一组lidar像素进行相关；以及基于所述相关输出所述一组lidar像素的分类信息。11.根据权利要求10所述的系统，其中，所述一组lidar像素包括第一lidar图像中的第一lidar像素，所述第一lidar像素与第二lidar图像中的第二lidar像素相关，因为对应于环境中对象的相同点。12.根据权利要求11所述的系统，其中，在所述第一lidar图像之后获取所述第二lidar图像，并且其中，在获取所述第二lidar图像的同时缓存所述第一lidar图像。13.根据权利要求12所述的系统，其中，分别在所述第一lidar图像和所述第二lidar图像中，相对于所述第一lidar像素和所述第二lidar像素，使用相邻lidar像素之间的深度值差异和/或相邻lidar像素之间的峰值差异，对所述第一lidar像素与所述第二lidar像素进行相关。14.根据权利要求10所述的系统，进一步包括：协处理器，所述协处理器被配置为：从所述检测电路接收第一帧lidar像素；使用(1)相邻lidar像素之间的深度值差异和/或(2)相邻lidar像素之间的峰值差异识别所述第一帧lidar像素中的第一组关键点；在第一缓存器中存储所述第一组关键点，包括用于识别所述第一组关键点的所述差异；从所述检测电路接收第二帧lidar像素；使用(3)相邻lidar像素之间的深度值差异和/或(4)相邻lidar像素之间的峰值差异识别所述第二帧lidar像素中的第二组关键点；使用所述差异对所述第一组关键点中的一个或多个关键点与所述第二组关键点中的一个或多个关键点进行相关；
使用相关的关键点对之间的差异计算关键点的速度；以及输出所述速度。15.根据权利要求14所述的系统，其中，所述协处理器被进一步配置为：在所述第一组关键点的所述第一缓存器中存储由相邻lidar像素的横向位置和对应的深度值形成的三维位置；以及进一步使用所述三维位置对所述第一组关键点中的所述一个或多个关键点与所述第二组关键点中的所述一个或多个关键点进行相关。16.根据权利要求14所述的系统，其中，所述协处理器为分类电路。17.根据权利要求10所述的系统，其中，所述一组lidar像素包括第一lidar图像中的被识别为对应于同一对象的一组lidar像素，并且其中，所述分类信息指示lidar图像的哪些lidar像素对应于所述同一对象。18.根据权利要求17所述的系统，进一步包括：深度成像电路，所述深度成像电路与所述光测距装置和所述分类器电路可通信地耦合，所述深度成像电路被配置为：接收所述lidar图像的所述lidar像素；接收对应于所述同一对象的lidar像素组的所述分类信息；以及基于所述分类信息，将一个或多个滤波器内核应用于所述lidar图像的lidar像素的子集。19.一种系统，包括：光测距装置，所述光测距装置包括：发射电路，所述发射电路包括多个发射光脉冲的光源；检测电路，所述检测电路包括：光传感器阵列，所述光传感器阵列检测反射光脉冲并输出随时间测量的信号；测距电路，所述测距电路连接到所述光传感器阵列并且被配置为：使用所述光传感器阵列从测量中确定深度值以形成包括lidar像素的网格的lidar图像，其中，lidar像素包括深度值，所述lidar像素的网格在测量间隔期间形成环境的直线帧，以及周期性输出lidar图像，其中，每个lidar图像是在不同的测量间隔期间生成的，并且包括lidar像素的行和列；和深度成像电路，所述深度成像电路与所述光测距装置可通信地耦合并且被配置为：接收所述lidar图像的所述lidar像素；以及将一个或多个滤波器内核应用于所述lidar图像的lidar像素的子集，以生成lidar像素的滤波后的图像。20.根据权利要求19所述的系统，其中，所述光传感器阵列中的每一个光传感器具有传感器ID，并且所述检测电路进一步包括映射表，所述映射表基于对应的传感器ID指定lidar像素，并且其中，所述测距电路被进一步配置为：为所述信号中的每个信号和相应的深度值分配传感器ID；以及通过使用所述映射表和传感器ID将所述深度值映射到所述lidar图像中的lidar像素的网格，使用所述深度值构建所述lidar图像。
21.根据权利要求19所述的系统，其中，所述一个或多个滤波器内核包括使用与给定lidar像素相邻的其他lidar像素的信号调整所述给定lidar像素的信号的峰值或检测阈值的滤波器内核。22.根据权利要求19所述的系统，其中，所述一个或多个滤波器内核包括使用与给定lidar像素相邻的其他lidar像素的信号调整所述给定lidar像素的深度值的滤波器内核。23.根据权利要求19所述的系统，其中，所述检测电路还包括检测环境光以生成颜色像素阵列的颜色传感器，并且其中，所述深度成像电路被进一步配置为对所述lidar像素中的一个或多个lidar像素与所述颜色像素阵列中的每一个颜色像素进行相关，并且其中，所述一个或多个滤波器内核包括使用与给定颜色像素相邻的其他lidar像素相关的颜色像素调整所述给定颜色像素的颜色值的滤波器内核，其中，所述其他lida...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奥斯特公司，
类型：发明
国别省市：