用于自动化车辆的地面分类器系统技术方案

本发明专利技术提供了一种将自动化车辆附近的地面覆盖物(12)分类的地面分类器系统(10)，包括激光雷达(16)、相机(30)和控制器(34)。激光雷达(16)检测视场(22)的点云(18)。相机(30)渲染视场(22)的图像(32)。控制器(34)被配置成限定将点云(18)分离成地面片段(40)的阵列的激光雷达网格(38)，并且限定将图像(32)分离成单元格(46)的阵列的相机网格(44)。云点(18)与图像(32)对准使得地面片段(50)与单元格(52)对准。当高度(54)小于高度阈值(58)时，地面片段(50)被确定为地面(56)。控制器(34)被配置成确定地面片段(50)内云点(20)的激光雷达特性(42)，确定单元格(52)内像素(70)的相机特性(60)，并且当地面片段(50)被确定为地面(56)时，确定地面片段(50)的分类(36)，其中地面片段(50)的分类(36)基于激光雷达特性(42)和相机特性(60)被确定。

【技术实现步骤摘要】
用于自动化车辆的地面分类器系统
本公开大体涉及将自动化车辆附近的地面覆盖物分类的地面分类器系统，并且更具体地涉及一种系统，该系统基于由激光雷达指示的地面片段的激光雷达特性和由相机指示的地面片段的相机特性确定地面片段的分类。
技术介绍
能够区分自动化车辆正在行驶的表面的组成或类型对自动化车辆是有利的。例如，如果自动化车辆的行驶路径是在雪或碎石上，那么自动化车辆的动态行为与当自动化车辆行驶在诸如混凝土或沥青的路面上时的动态行为不同。能够区分路面与碎石或草地对确定铺设的道路的边缘的相对位置也是有用的。需要的是能够区分或识别各种类型的地面分类(诸如混凝土、沥青、碎石、灰尘、草地、雪等)的系统。
技术实现思路
相机图像已经被自动化车辆广泛使用于通过使用计算机视觉和图像处理技术对物体进行分类。最近，由于高质量的障碍物检测，激光雷达变得更常见。此外，为了提供三维(3D)测量，大多数激光雷达为激光雷达检测到的每个云点提供激光雷达特性(诸如强度值)，其中，例如，强度是对物体反射由激光雷达发射的激光脉冲的反射值的指示。强度值可以基于本领域已知的从激光雷达强度导出的平均值、中值、直方图或其他处理的测量值。本文中描述的是一种用于通过使用由激光雷达指示的激光雷达特性和在由相机渲染的图像中指示的相机特性对地面(诸如草地和沥青)进行分类的系统。根据一个实施例，提供了将靠近自动化车辆的地面覆盖物分类的地面分类器系统。该系统包括激光雷达、相机、和控制器。激光雷达检测关于主车辆的视场的点云。相机渲染视场的图像。控制器与相机和激光雷达通信。控制器被配置成限定将点云分离成地面片段的阵列的激光雷达网格，并且限定将图像分离成单元格的阵列的相机网格。点云与图像对准使得地面片段与单元格对准。控制器进一步被配置成确定地面片段内云点的高度。当高度小于高度阈值时，地面片段被确定为地面。控制器被配置成确定地面片段内云点的激光雷达特性，确定单元格内像素的相机特性，并且当地面片段被确定为地面时，确定地面片段的分类，其中地面片段的分类基于激光雷达特性和相机特性来确定。阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。附图说明现在将参考各个附图通过示例的方式来描述本专利技术，其中：图1是根据一个实施例的地面分类器系统的示图；以及图2是根据一个实施例的图1的系统使用的传感器的视场的图示。具体实施方式图1示出了地面分类器系统10(下文称为系统10)的非限制性示例。作为操作自动化车辆(例如主车辆14)的一部分，系统10将靠近(即包围、附近、或在由系统10使用的传感器的视野内)主车辆14的地面覆盖物12(图2)分类。如本文中使用的，术语地面覆盖物指暴露在靠近主车辆的地面表面上的材料或物质。作为示例，地面覆盖物12可以是沥青、混凝土、车道标记、草地、碎石、灰尘、雪等，但不限于此。主车辆14可能能够在地面覆盖物的这些和其他示例中的很多上行驶。然而，认识到，一些表面相比其他是优选的。例如，在混凝土上行驶通常是优选的而非雪或冰。如本文所使用的，术语“自动化车辆”可应用于当主车辆14正以自动模式(即，完全自主模式)操作的情况，其中主车辆14的人类操作者(未示出)可几乎不用做指定目的地以外的事情以便操作主车辆14。然而，完全自动化不是必需的。构想到，当主车辆14以手动模式被操作时本文中提供的教导是有用的，在手动模式下，自动化程度或等级可能仅仅是系统10向总体上控制着主车辆14的转向、油门和刹车的人类操作者提供可听或可视的警告。例如，系统10可仅根据需要帮助人类操作者避免在较不理想的地面覆盖物的实例上行驶：例如冰或雪。继续参考图1和图2，系统10包括激光雷达16，激光雷达16在主车辆14周围或附近检测在激光雷达16的视场22中检测到的云点20的点云18。如在这里使用的，点云18指的是由激光雷达16检测到的云点20的全集，并且云点20可以被用于指点云18的一些特定子集。如本领域技术人员所理解的，由激光雷达16检测到的云点的每个实例通常由相对于通常被安装在主车辆14上的激光雷达16的距离24和方向26，以及由位于云点的任何东西反射的激光雷达激光束的强度28来表征。图2的非限制性示例将点云18示为仅覆盖视场22的一部分，但是这样做仅仅是为了简化说明。构想到，点云18可覆盖图2中建议的更大的距离，并且点云18可覆盖主车辆14周围360°视场。系统10还包括渲染视场22的图像32(图2)的相机30。如上，仅仅为了简化示例，图像32的非限制性示例不覆盖主车辆14周围的360°视场。虽然图2被示出为黑白图，但是相机30优选为彩色相机，使得颜色信息(例如色度，饱和度)可用于帮助分类地面覆盖物12，如稍后将更详细解释的。虽然图1将激光雷达16和相机30示出为组合单元，但这不是必需的。激光雷达16和相机30处于同一位置可以是优选的，因为它使得点云18与图像32对准更简单。此外，即使激光雷达16和相机30处于同一位置，期望点云18和图像32的进一步电子对准将改善本文所述的系统10的整体性能。已知各种将点云18和图像32对准的方法。系统10还包括与相机30和激光雷达16通信的控制器34。该通信可以通过有线、光缆、无线通信、或上述任何组合，如本领域技术人员已知。控制器34可包括诸如微处理器的处理器(未具体示出)或其它控制电路，诸如模拟和/或数字控制电路，包括应当为本领域技术人员熟知的用于处理数据的专用集成电路(ASIC)。控制器34可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(EEPROM)。一个或多个例程可以由处理器执行，以基于由控制器34从激光雷达16和相机30接收到的信号，执行用于确定地面覆盖物12的分类36的步骤，如本文所描述的。控制器34被配置成或被编程为限定将点云18分离成地面片段40的阵列的激光雷达网格38。在系统10的一个实施例中，激光雷达网格38可以是基于经验测试来预先确定的，使得每个地面片段40的大小是固定的，其对应于图2中示出的。注意到，图2中示出的激光雷达网格38的非限制性示例非常粗糙，因此每个地面片段40比构想到用于系统10的实际实现的大得多。这样做指示为了简化绘图。作为实例，在系统10的实际实现中的每个地面片段40的示例大小可以是二十厘米的平方(0.02mx0.02m)。在另一个实施例中，激光雷达网格38可以是基于点云18内每个云点20的激光雷达特性(例如，距离24、方向26、和/或强度28)动态确定的。例如，控制器34可以通过选择彼此相邻并且具有相同或大约相同的强度值28的云点20的实例形成不规则形状的地面片段。虽然比激光雷达网格38的固定或预期实例更复杂，但这种实施方式能够更好地确定地面覆盖物12例如从沥青过渡到碎石的道路边缘的相对位置。图2中示出的地面片段40可表示地面覆盖物的任意分割。这可导致地面片段40的实例由分类36的多于单个选择来表征。由此，分类器可能无法区分一个分类与另一个的准确分界。在另一个实施例中，地面可首先通过使用图像32中的强度28和/或信息被分割。地面覆盖物12的分割然后可被分段并按顺序分类以更好地分离具有相同分本文档来自技高网...

【技术保护点】
1.一种将自动化车辆附近的地面覆盖物(12)分类的地面分类器系统(10)，所述系统(10)包括：激光雷达(16)，检测关于主车辆(14)的视场(22)的点云(18)；相机(30)，渲染所述视场(22)的图像(32)；以及控制器(34)，与所述相机(30)以及所述激光雷达(16)通信，所述控制器(34)被配置成限定激光雷达(38)，所述激光雷达(38)将所述点云(18)分离成地面片段(40)的阵列，限定相机网格(44)，所述相机网格(44)将所述图像(32)分离成单元格(46)的阵列，其中所述点云(18)和所述图像(32)对准使得地面片段(50)与单元格(52)对准；确定所述地面片段(50)内云点(20)的高度(54)，其中当所述高度(54)小于高度阈值(58)时所述地面片段(50)被确定为地面(56)，确定所述地面片段(50)内的云点(20)的激光雷达特性(42)，确定所述单元格(52)内像素(70)的相机特性(60)，并且当所述地面片段(50)被确定为地面(56)时，确定所述地面片段(50)的分类(36)，其中所述地面片段(50)的所述分类(36)基于所述激光雷达特性(42)和所述相机特性(60)来确定。...

【技术特征摘要】
2017.01.17 US 15/407,4041.一种将自动化车辆附近的地面覆盖物(12)分类的地面分类器系统(10)，所述系统(10)包括：激光雷达(16)，检测关于主车辆(14)的视场(22)的点云(18)；相机(30)，渲染所述视场(22)的图像(32)；以及控制器(34)，与所述相机(30)以及所述激光雷达(16)通信，所述控制器(34)被配置成限定激光雷达(38)，所述激光雷达(38)将所述点云(18)分离成地面片段(40)的阵列，限定相机网格(44)，所述相机网格(44)将所述图像(32)分离成单元格(46)的阵列，其中所述点云(18)和所述图像(32)对准使得地面片段(50)与单元格(52)对准；确定所述地面片段(50)内云点(20)的高度(54)，其中当所述高度(54)小于高度阈值(58)时所述地面片段(50)被确定为地面(56)，确定所述地面片段(50)内的云点(20)的激光雷达特性(42)，确定所述单元格(52)内像素(70)的相机特性(60)，并且当所述地面片段(50)被确定为地面(56)时，确定所述地面片段(50)的分类(36)，其中所述地面片段(50)的所述分类(36)基于所述激光雷达特性(42)和所述相机特性(60)来确定。2.根据权利要求1所述的系统(10)，其中所述地面片段(50)的所述激光雷达特性(42)是强度(28)并且所述单元格(52)的所述相机特性(60)是色度(84)、饱和度(78)、亮度(88)和温度(96)中的至少一个。3.根据权利要求1所述的系统(10)，其中当由所述...

【专利技术属性】
技术研发人员：R·M·泰勒，I·H·伊扎特，
申请(专利权)人：德尔福技术有限公司，
类型：发明
国别省市：美国,US