用于以点云数据集合对对象进行分类的方法和系统技术方案

一种用于以点云对对象进行分类的方法，包括对点云中的一个或多个点计算第一和第二分类统计。确定第一和第二分类统计与和相应第一和第二分类器的N个类别的集合对应的第一和第二分类统计的集合中的一个相应分类统计之间的最接近匹配，以估计对象属于相应的第一类别和第二类别。如果第一类别与第二类别不对应，则在点云与第三分类器的用于仅第一类别和第二类别的模型点云之间进行最接近符合。基于对接收的3D点云的近乎实时的最接近符合，将对象分配给第一或第二类别。基于所分配的对象类别操作装置。

A Method and System for Classifying Objects with Point Cloud Data Set

【技术实现步骤摘要】
【国外来华专利技术】用于以点云数据集合对对象进行分类的方法和系统相关申请的交叉引用根据35U.S.C.§119(e)，本申请要求2016年11月29日提交的临时申请62/427,573的权益，其全部内容通过引用并入本文，如同完整地在本文陈述一般。政府利益声明本专利技术根据海军部准予的合同N00014-16-C-1026、在政府的支持下完成。政府对本专利技术享有某些权利。
技术介绍
通常由助记符LIDAR述及的用于光检测和测距的光学距离检测用于从测高到成像再到碰撞避免的各种应用。与传统微波测距系统诸如无线电波检测和测距(RADAR)相比，LIDAR以较小波束大小提供较精细的标度距离分辨率。光学距离检测可以通过几种不同的技术来完成，包括基于光学脉冲到目标的往返行进时间的直接测距，基于传输的啁啾光学信号和从目标散射的返回信号之间的频率差的啁啾检测，以及基于可与自然信号区分开来的一系列单频相位变化的相位编码检测。为了实现可接受的距离准确度和检测灵敏度，直接长距离(longrange，远程)LIDAR系统使用脉冲重复率低且脉冲峰功率极高的短脉冲激光器。高脉冲功率可能引起光学部件快速退化。啁啾LIDAR系统使用峰光学功率相对低的长光学脉冲。在该配置下，距离准确度取决于啁啾带宽而不是脉冲持续时间，因此仍然可以获得优异的距离准确度。已经通过使用宽带射频(RF)电信号调制光学载波来实现有用的光学啁啾带宽。啁啾LIDAR的最新进展包括使用相同的经调制的光学载波作为参考信号，该参考信号与返回信号在光学检测器处组合以在结果电信号中产生与参考信号和返回光学信号之间的频率差成比例的相对低的拍频。检测器处的这种频率差的拍频检测称为外差检测。它具有本领域已知的若干优点，诸如使用现成且廉价可用的RF部件的优点。美国专利号7,742,152中描述的最近成果示出了一种新颖的较简单的光学部件布置，该布置使用从传输的光学信号分离的光学信号作为参考光学信号。该布置在该专利中称为零差检测。也使用相位编码微波信号调制到光载波上的LIDAR检测。该技术依赖于将返回信号中的特定频率的一系列相位(或相位变化)与传输信号中的相关联。与相关峰值相关联的时延以介质中的光速度与距离相关。该技术的优点包括需要较少的部件，以及使用批量生产的针对相位编码微波和光通信开发的硬件部件。这些LIDAR系统返回的数据通常表示为点云。点云是某一坐标系中的一组数据点。在三维坐标系中，这些点通常由X、Y和Z坐标限定，通常意在表示对象的外表面。3D点云可以由3D扫描仪生成，诸如包括啁啾LIDAR和相位编码LIDAR的LIDAR系统以及其他类型的扫描仪。
技术实现思路
本专利技术人意识到在一些情况和应用中对3D点云表示的对象进行自动分类在实时上是具有挑战性的，尤其是对于位于远距离处的对象。提供了用于这种自动对象分类的技术。在第一组实施方式中，在处理器上实施的方法包括得到表示对象的外表面的3D点云。方法还包括：在3D点云上的一点处提取表面法线，以在该点处限定平移和旋转的不变坐标系，并且在坐标系中提取一个或多个特征变量的值，以限定3D点云中的一个或多个点。方法还包括：基于该一个或多个特征变量的值对3D点云中的该一个或多个点计算第一分类统计，以及基于该一个或多个特征变量的值对3D点云中该一个或多个点计算第二分类统计。方法还包括确定第一分类统计与和第一分类器的N个类别的集合对应的N个第一分类统计的集合中的第一分类统计之间的最接近匹配，以估计对象属于第一类别。方法还包括确定第二分类统计与和第二分类器的N个类别的集合对应的第二分类统计的集合中的第二分类统计之间的最接近匹配，以估计对象属于第二类别。如果第一类别与第二类别不对应，则基于3D点云与第三分类器的用于仅第一类别和第二类别的模型点云之间的最接近符合对3D点云中的该一个或多个点计算第三分类统计。基于从接收到3D点云起近乎实时的第三分类器的最接近符合，将对象分配给第一类别或第二类别。方法还包括基于对象被分配的一个类别操作装置。在第一组的一些实施方式中，第一分类统计是旋转图像，第二分类统计是协方差矩阵，以及第三分类统计是迭代最近点(ICP)。在第二组实施方式中，设备包括被配置成提供光学信号的激光源。设备包括被配置成接收信号并产生传输信号和参考信号的分离器。设备还包括被配置成将传输信号引导到设备外部并接收从被传输信号照射的任何对象反向散射的任何返回信号的光学耦合器。设备还包括设置成接收参考信号和返回信号的光学检测器。另外，设备还包括被配置成执行从光学检测器接收电信号的步骤的处理器。处理器还被配置成执行上述方法的一个或多个步骤。在其他实施方式中，系统或设备或计算机可读介质被配置成执行上述方法的一个或多个步骤。根据下面的具体实施方式，仅示出多个特定实施方式和实现方式，很容易就可以明白其他方面、特征和优点，其中包括用于实践本专利技术所设想的最佳模式。其他实施方式也具有其他不同的特征和优点，在各显著方面将对其若干细节进行修改，但均未脱离本专利技术的精神和范围。相应地，附图和说明书本质上应视为说明性的而非限制性的。附图说明在附图的图中通过示例而非限制的方式示出实施方式，附图中相同的附图标记指涉类似的元件，附图中：图1A是示出了根据实施方式的示例光学啁啾距离测量的一组图；图1B是示出了根据实施方式的指示距离的、由去啁啾得到的拍频的示例测量的图；图2是示出了根据实施方式的高分辨率LIDAR系统的示例部件的框图；图3A是示出了根据实施方式的外差啁啾LIDAR系统的示例部件的框图；图3B是示出了根据实施方式的零差啁啾LIDAR系统的示例部件的框图；图4示出了根据实施方式的对象的3D点云的示例；图5A是示出了根据实施方式的用于点集的k-d树组成的示例的图；图5B示出了根据实施方式的基于图5A的k-d树组成的k-d树的示例；图6A示出了根据实施方式的对象的3D点云的示例；图6B示出了根据实施方式的图6A的3D点云的区段；图6C是示出了根据实施方式的用以在旋转和平移的不变坐标系内限定3D点云中的点的特征变量的示例的框图；图6D是示出了根据实施方式的3D点云的点的数量与图6C的一系列特征变量的直方图的示例的旋转图像；图6E是示出了根据实施方式的与相应多个类别相关联的多个集群和集群中心的示例的图；图7是示出了根据实施方式的用于对3D点云限定的对象进行分类的示例方法的流程图；图8A是示出了根据实施方式的图2的系统的实验设置的顶视立体图的示例的图片；图8B是示出了根据实施方式的用于图8A描绘的实验设置的对象的示例的框图；图9A是根据实施方式的用于一组对象的一组点云；图9B是示出了根据实施方式的用于获得图9A的该组点云的该组对象的示例的框图；图10A是示出了根据实施方式的基于图4中的对象的3D点云的对象的遮挡模型的示例的框图；图10B是示出了根据实施方式的对象的2D点云的示例的框图；图10C至图10E是示出了根据实施方式的图10B的2D点云与图10A的每个遮挡模型之间的最佳符合的示例的框图；图11是示出了可以在其上实施本专利技术的实施方式的计算机系统的框图；以及图12示出了在其上可以实施本专利技术的实施方式的芯片组。具体实施方式描述了用于以3D点云对对象进行分类的方法、设备、系统和计算机可读介质。在下面的描述中，出于解释的目的本文档来自技高网...

【技术保护点】
1.一种在处理器上实施的方法，包括：获得表示对象的外表面的3D点云；在所述3D点云上的一点处提取表面法线，以在所述点处限定平移和旋转的不变坐标系；在所述坐标系中提取至少一个特征变量的值，以限定所述3D点云中的至少一个点；基于所述至少一个特征变量的值对所述3D点云中的所述至少一个点计算第一分类统计；基于所述至少一个特征变量的值对所述3D点云中的所述至少一个点计算第二分类统计；确定所述第一分类统计与和第一分类器的N个类别的集合对应的N个第一分类统计的集合中的第一分类统计之间的最接近匹配，以估计所述对象属于第一类别；确定所述第二分类统计与和第二分类器的N个类别的集合对应的第二分类统计的集合中的第二分类统计之间的最接近匹配，以估计所述对象属于第二类别；如果所述第一类别与所述第二类别不对应，则基于所述3D点云与第三分类器的用于仅所述第一类别和所述第二类别的模型点云之间的最接近符合来对所述3D点云中的所述至少一个点计算第三分类统计；基于从接收到所述3D点云起近乎实时的所述第三分类器的所述最接近符合，将所述对象分配给所述第一类别和第二类别中的一个类别；以及基于所述对象被分配的所述一个类别操作装置。

【技术特征摘要】
【国外来华专利技术】2016.11.29 US 62/427,5731.一种在处理器上实施的方法，包括：获得表示对象的外表面的3D点云；在所述3D点云上的一点处提取表面法线，以在所述点处限定平移和旋转的不变坐标系；在所述坐标系中提取至少一个特征变量的值，以限定所述3D点云中的至少一个点；基于所述至少一个特征变量的值对所述3D点云中的所述至少一个点计算第一分类统计；基于所述至少一个特征变量的值对所述3D点云中的所述至少一个点计算第二分类统计；确定所述第一分类统计与和第一分类器的N个类别的集合对应的N个第一分类统计的集合中的第一分类统计之间的最接近匹配，以估计所述对象属于第一类别；确定所述第二分类统计与和第二分类器的N个类别的集合对应的第二分类统计的集合中的第二分类统计之间的最接近匹配，以估计所述对象属于第二类别；如果所述第一类别与所述第二类别不对应，则基于所述3D点云与第三分类器的用于仅所述第一类别和所述第二类别的模型点云之间的最接近符合来对所述3D点云中的所述至少一个点计算第三分类统计；基于从接收到所述3D点云起近乎实时的所述第三分类器的所述最接近符合，将所述对象分配给所述第一类别和第二类别中的一个类别；以及基于所述对象被分配的所述一个类别操作装置。2.根据权利要求1所述的方法，其中，所述第一分类统计基于旋转图像，所述旋转图像包括所述3D点云在多个筐的每一个筐中的点的数量与所述至少一个特征变量的一系列值的直方图。3.根据权利要求2所述的方法，其中，所述确定所述最接近匹配包括：将所述旋转图像转换为包括针对每个筐的点的数量的矢量，其中，所述矢量的维度为筐的数量；基于所述类别的集合将所述矢量的所述维度从所述筐的数量压缩至降低维度，作为所述第一分类统计；执行搜索，以在降低维度矢量与和从计算机可读介质检索的用于N个类别的相应旋转图像的集合相关联的预定降低维度矢量的集合之间确定最近邻居；以及基于与所述第一类别相关联的所述降低维度矢量为所述最近邻居，估计所述对象属于所述第一类别。4.根据权利要求1所述的方法，其中，所述第二分类统计基于协变描述子，所述协变描述子包括矩阵，所述矩阵具有：基于一个特征变量根据该特征变量在所述3D点云范围内的平均值的方差的对角元素；以及基于不同特征变量根据所述不同特征变量在所述3D点云范围内的相应平均值的方差的非对角元素。5.根据权利要求4所述的方法，其中，确定所述协变描述子与协变描述子的集合之间的最接近匹配包括：从计算机可读介质检索与相应类别的集合对应的预定集群的集合，所述预定集群的集合包括：每个相应集群的集群中心；以及包括用于每个集群中心的矩阵的协变描述子；以及基于计算所述3D点云的矩阵与每个集群中心的所述矩阵之间的距离，在所述3D点云的所述矩阵与用于每个集群中心的所述矩阵之间执行最近邻居搜索；以及基于用于与所述第二类别相关联的所述集群中心的所述矩阵为所述最近邻居，估计所述对象属于所述第二类别。6.根据权利要求1所述的方法，其中，所述第三分类统计基于迭代最近点(ICP)，并且其中，计算所述ICP包括：对所述3D点云和用于所述第一类别的模型点云进行旋转、平移和缩放中的至少一种，直到获得所述3D点云的点与用于所述第一类别的预定模型点云上的点之间的第一最小距离；对所述3D点云和用于所述第二类别的模型点云进行旋转、平移和缩放中的至少一种，直到获得所述3D点云的点与用于所述第二类别的预定模型点云的点之间的第二最小距离；以及基于所述第一最小距离与所述第二最小距离中的较小者确定所述最接近符合。7.根据权利要求6所述的方法，其中，通过下述确定所述第一类别和第二类别的所述预定模型点云：获得用于所述第一类别的初始点云和用于所述第二类别的初始点云；将用于所述第一类别的所述初始点云和用于所述第二类别的所述初始点云旋转至多个视角；确定用于所述第一类别的所述初始点云和用于所述第二类别的所述初始点云在每个视角下由于遮挡效应而被观察到的子集。8.根据权利要求1所述的方法，其中，提取所述表面法线包括：确定所述3D点云上的所述点的多个最近邻居；确定所述多个最近邻居的最小方差的方向；以及基于所述最小方差的方向近似得到所述表面法线。9.根据权利要求1所述的方法，其中，N小于约100。10.根据权利要求1所述的方法，其中，操作所述装置包括下述中至少之一：在显示器上输出图像；以及沿到所述对象的轨线推进抛射体。11.根据权利要求1所述的方法，还包括：如果所述第一类别与所述第二类别对应，则将所述对象分配给所述第一类别。12.根据权利要求1所述的方法，其中，在获得所述3D点云时实时执行所述分配步骤。13.一种携载一个或多个指令序列的计算机可读介质，其中，由一个或多个处理器执行所述一个或多个指令序列使得所述一个或多个处理器执行下述步骤：获得表示对象的外表面的3D点云；在所述3D点云上的一点处提取表面法线，以在所述点处限定平移和旋转的不变坐标系；在所述坐标系中提取至少一个特征变量的值，以限定所述3D点云中的至少一个点；基于所述至...

【专利技术属性】
技术研发人员：斯蒂芬·C·克劳奇，兰迪·R·雷贝尔，布兰特·凯勒，
申请(专利权)人：布莱克莫尔传感器和分析公司，
类型：发明
国别省市：美国,US