基于LIDAR点云的多物体跟踪制造技术

公开了用于使用基于光检测和测距(LIDAR)的物体跟踪系统实施物体跟踪的技术、系统和设备。在一个示例性方面，所述系统包括：多个光发射器和传感器对，可操作以获得指示周围物体的实际位置的数据，其中所述数据通过分割模块被分组成多个组；以及物体跟踪器，被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体计算运动估计，(3)在数据子集无法映射到模型中的对应的目标物体的情况下将该数据子集反馈给所述分割模块，用于进行进一步的分组，以及(4)通过调整所述运动估计来修改所述目标物体的模型，以减小或去除所述模型的物理失真。

Multi-object tracking based on LIDAR point cloud

【技术实现步骤摘要】
【国外来华专利技术】基于LIDAR点云的多物体跟踪
本公开总体涉及电子信号处理，并且更具体地，涉及光检测和测距(LIDAR)应用中的信号处理相关联的组件、系统和技术。
技术介绍
诸如无人机器人之类的无人可移动物体随着性能的不断提高和成本的不断降低，现在广泛地应用于许多领域。代表性任务包括不动产摄影、建筑物和其他结构的检查、消防和安全任务、边境巡逻以及产品交付等。对于障碍物检测以及其他功能，有益的是无人载运工具配备有障碍物检测和周围环境扫描设备。光探测和测距(LIDAR，也称为“光雷达”)是一种可靠而稳定的检测技术。然而，传统的LIDAR设备通常是昂贵的，因为它们使用多通道、高密度和高速度的发射器和传感器，从而使得大多数传统的LIDAR设备不适合低成本的无人载运工具应用。因此，仍然需要用于实现LIDAR扫描模块(例如，诸如由无人载运工具和其他物体承载的LIDAR扫描模块)的改进的技术和系统。
技术实现思路
该专利文件涉及由使用多个低成本LIDAR发射器和传感器对的无人载运工具来实施物体跟踪的技术、系统和设备。在一个示例性方面，公开了一种基于光检测和测距(LIDAR)的物体跟踪系统。所述系统包括多个光发射器和传感器对。所述多个光发射器和传感器对中的每一对可操作以获得指示周围物体的实际位置的数据。通过分割模块将所述数据分组成多个组，每个组对应于周围物体之一。所述系统还包括物体跟踪器，其被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体来计算运动估计，以及(3)基于由所述物体跟踪器确定数据子集无法映射到模型中的对应的目标物体，将所述数据子集反馈给所述分割模块，用于进行进一步的分组。在另一示例性方面，公开了一种用于控制无人可移动物体的微控制器系统。所述系统包括处理器，其被配置为实现实时或近实时地跟踪物体的方法。所述方法包括接收指示周围物体的实际位置的数据。通过分割模块将所述实际位置分组成多个组，并且所述多个组中的每个组对应于所述周围物体之一。所述方法还包括：基于所述多个组来获得多个目标物体的多个模型；针对每个目标物体来估计运动矩阵；使用每个目标物体的运动矩阵来更新模型；以及通过以下方式来优化所述模型：修改每个目标物体的模型，以去除或减小目标物体的模型的物理失真。在又一示例性方面，公开了一种无人设备。所述无人设备包括：如上所述的基于光检测和测距(LIDAR)的物体跟踪系统；控制器，可操作以响应于来自实时物体跟踪系统的输出而生成用于引导所述载运工具的运动的控制信号；以及引擎，可操作以响应于来自所述控制器的控制信号而操纵所述载运工具。在附图、具体实施方式和权利要求中更详细地描述了上述和其他方面及其实施方式。附图说明图1A示出了耦接到无人载运工具的示例性LIDAR系统。图1B示出了具有表示周围物体的数据点的示例性点云数据集的可视化图。图2A示出了根据本技术的一个或多个实施例的示例性物体跟踪系统的框图。图2B示出了根据本技术的一个或多个实施例的物体跟踪器的示例性整体工作流程。图3示出了物体识别的方法的示例性流程图。图4示出了具有连接P’t,target和Pt,surrounding的边的示例性二分图。图5示出了基于针对汽车收集的点云数据的Pt,surrounding到Pt-1,target的示例性映射。图6示出了运动估计的方法的示例性流程图。图7示出了针对沿X轴以7米/秒移动的目标物体的示例性多维高斯分布模型。图8示出了对目标物体的模型进行优化以使运动模糊效应最小化的方法的示例性流程图。具体实施方式随着诸如无人载运工具之类的无人可移动物体的不断增加的使用，对它们来说重要的是能够独立地检测障碍物并且自动地进行避障操纵。由于光检测和测距(LIDAR)几乎可以在所有的天气条件下工作，所以LIDAR是一种可靠而稳定的检测技术。此外，与仅能够在两个维度上感测周围环境的传统图像传感器(例如，相机)不同，LIDAR可以通过检测深度来获得三维信息。然而，传统的LIDAR通常很昂贵，因为它们依赖于多通道、高速、高密度LIDAR发射器和传感器。这种LIDAR的成本加上具有足够的处理能力来处理密集数据的成本，使得传统LIDAR系统的价格令人生畏。该专利文件描述了用于利用多个低成本的单通道线性LIDAR发射器和传感器对来实现无人载运工具的多物体跟踪的技术和方法。所公开的技术能够以低得多的数据密度(例如，传统方法中的数据密度的大约1/10)来实现多物体跟踪，同时保持物体跟踪的类似精度和稳健性。在以下描述中，仅出于说明性目的，使用无人载运工具的示例来说明可以使用比传统LIDAR更具成本效益的LIDAR物体跟踪系统来实现的各种技术。例如，即使结合所述技术介绍的一个或多个附图示出了无人汽车，但在其他实施例中，所述技术可以以类似的方式适用于其他类型的可移动物体，包括但不限于：无人航空载运工具、手持式设备、或机器人。在另一示例中，即使所述技术特别适用于由LIDAR系统中的激光二极管产生的激光束，其他类型的物体距离传感器(例如飞行时间相机)的扫描结果也可以是适用的。在下文中，阐述了许多具体细节以提供对当前所公开的技术的透彻理解。在一些情况下，没有详细描述众所周知的特征以避免不必要地模糊本公开。在本说明书中对“实施例”、“一个实施例”等的引用表示所描述的特定特征、结构、材料或特性被包括在本公开的至少一个实施例中。因此，本说明书中这些短语的出现不一定都指代相同的实施例。另一方面，这样的引用也不一定是相互排斥的。此外，可以在一个或多个实施例中通过任何合适的方式来组合特定特征、结构、材料或特性。此外，应该理解，附图中示出的各种实施例仅仅是说明性的表示，并且不一定按比例绘制。在该专利文件中，词语“示例性”被用来表示用作示例、实例或说明。本文中描述为“示例性”的任何实施例或设计不必解释为相比其他实施例或设计优选或者有利。相反，词语“示例性”的使用旨在以具体的方式来呈现概念。概述图1A示出了耦接到无人载运工具101的示例性LIDAR系统。在该配置中，无人载运工具101配备有四个LIDAR发射器和传感器对。LIDAR发射器103耦接到无人载运工具101以发射光信号(例如，脉冲激光)。然后，在光信号被诸如物体105之类的周围物体反射之后，LIDAR传感器107检测所反射的光信号，并测量光被发射时与所反射的光被检测到时之间所经过的时间。可以基于时间差和所估计的光速来计算到周围物体105的距离D，例如“距离＝(光速×飞行时间)/2”。利用诸如发射光的角度之类的附加信息，可以通过LIDAR系统获得周围环境的三维(3D)信息。周围环境的3D信息通常以点云的格式被存储为数据，其中点云是表示周围物体在所选坐标系中的实际位置的一组数据点。图1B示出了由无人载运工具使用根据本技术的一个或多个实施例的LIDAR物体跟踪系统收集的点云格式的示例性数据集的可视化图。点云中的数据点表示周围物体的3D信息。例如，由LIDAR发射器和传感器对获得的点的子集102指示汽车的表面点的实际位置。由LIDAR发射器和传感器对获得的点的另一子集104指示建筑物的表面点的实际位置。相比于多通道、高速和高密度LIDAR，多个单通道线性LIDAR发射器和传感器对的使用产生更加稀疏的点云数据集。例如，本文档来自技高网...

【技术保护点】
1.一种基于光检测和测距LIDAR的物体跟踪系统，包括：多个光发射器和传感器对，其中，所述多个光发射器和传感器对中的每一对可操作以获得指示周围物体的实际位置的数据，其中，所述数据被分割模块分组成多个组，每个组对应于所述周围物体之一；以及物体跟踪器，被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体计算运动估计，以及(3)基于由所述物体跟踪器确定数据子集无法映射到所述模型中的对应的目标物体，将所述数据子集反馈给所述分割模块，用于进行进一步的分组。

【技术特征摘要】
【国外来华专利技术】2017.04.28 CN PCT/CN2017/0826011.一种基于光检测和测距LIDAR的物体跟踪系统，包括：多个光发射器和传感器对，其中，所述多个光发射器和传感器对中的每一对可操作以获得指示周围物体的实际位置的数据，其中，所述数据被分割模块分组成多个组，每个组对应于所述周围物体之一；以及物体跟踪器，被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体计算运动估计，以及(3)基于由所述物体跟踪器确定数据子集无法映射到所述模型中的对应的目标物体，将所述数据子集反馈给所述分割模块，用于进行进一步的分组。2.根据权利要求1所述的物体跟踪系统，其中，所述物体跟踪器包括：物体识别器，所述物体识别器(1)基于多个目标物体中的一个目标物体的运动估计来计算所述目标物体的预测位置，以及(2)识别所述多个组中的与所述目标物体匹配的对应组；运动估计器，所述运动估计器通过找到一组平移和旋转值来更新所述目标物体的运动估计，其中在将所述一组平移和旋转值应用于所述目标物体之后，产生所述目标物体的预测位置与所述对应组的实际位置之间的最小差异，其中，所述运动估计器还使用所述运动估计来更新所述目标物体的模型；以及优化器，所述优化器通过调整所述运动估计来修改所述目标物体的模型，以减小或去除所述目标物体的模型的物理失真。3.根据权利要求2所述的物体跟踪系统，其中，所述物体识别器通过评估成本函数来识别所述对应组，所述成本函数由所述目标物体的预测位置与所述多个组中的一个组的实际位置之间的距离来定义。4.根据权利要求3所述的物体跟踪系统，还包括相机阵列，所述相机阵列耦接到所述多个光发射器和传感器对，其中，所述成本函数还由所述目标物体与所述组之间的色差来定义，所述色差由通过所述相机阵列捕获的颜色信息来确定。5.根据权利要求4所述的物体跟踪系统，其中，所述颜色信息包括预定颜色空间中的单分量值或三分量值。6.根据权利要求3所述的物体跟踪系统，其中，所述物体识别器基于对所述成本函数的完全二分图进行求解来识别所述对应组。7.根据权利要求6所述的物体跟踪系统，其中，在求解所述完全二分图时，所述物体识别器基于所述目标物体的位置信息将所述完全二分图划分成多个子图。8.根据权利要求7所述的物体跟踪系统，其中，所述物体识别器基于Kuhn-Munkres算法来求解所述多个子图。9.根据权利要求2所述的物体跟踪系统，其中，响应于确定目标物体在不长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，所述物体识别器向所述目标物体分配匀速的运动估计。10.根据权利要求2所述的物体跟踪系统，其中，响应于确定目标物体在长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，所述物体识别器从所述模型中去除所述目标物体。11.根据权利要求2所述的物体跟踪系统，其中，响应于确定所述数据子集无法映射到任何目标物体，所述物体识别器评估所述子集中的数据的密度，当所述密度高于预定阈值时，将所述子集作为新的目标物体添加到所述模型中，以及当所述密度低于所述预定阈值时，反馈所述子集以进行进一步的分组。12.根据权利要求2所述的物体跟踪系统，其中，所述运动估计器基于给定目标物体的一组预定的基于物理的约束来实施高斯运动模型的离散化搜索，以计算所述运动估计。13.根据权利要求12所述的物体跟踪系统，还包括多核处理器，其中，所述运动估计器利用所述多核处理器来并行地实施所述高斯运动模型的离散化搜索。14.根据权利要求2所述的物体跟踪系统，其中，所述优化器通过将一个或多个调整后的运动估计应用于所述目标物体的模型来修改所述模型。15.一种用于控制无人可移动物体的微控制器系...

【专利技术属性】
技术研发人员：李琛，马陆，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44