用于自主车辆操作的校准验证方法技术

提供用于控制车辆的系统和方法。在一个实施例中，车辆包括车辆上的摄像头、车辆上的激光雷达装置、车辆上的数据存储元件、车辆上的一个或多个传感器以及控制器，该数据存储元件保持与摄像头和激光雷达装置的配对相关联的一个或多个变换参数值。控制器基于一个或多个传感器的输出来检测静止状况，在静止状况期间从摄像头获取第一组图像数据，从第一组中过滤水平边缘区域，在静止状况期间获取第二组测距数据，并且基于过滤后的一组图像数据与第二组测距数据之间的关系来证实一个或多个变换参数值。

Calibration and Verification Method for Autonomous Vehicle Operation

A system and method for controlling a vehicle are provided. In one embodiment, the vehicle includes a camera on the vehicle, a lidar device on the vehicle, a data storage element on the vehicle, one or more sensors on the vehicle, and a controller, which maintains one or more transformation parameter values associated with the matching of the camera and the lidar device. The controller detects the static state based on the output of one or more sensors, obtains the first set of image data from the camera during the static state, filters the horizontal edge area from the first set, obtains the second set of ranging data during the static state, and verifies one or more transformation parameter values based on the relationship between the filtered set of image data and the second set of ranging data. \u3002

【技术实现步骤摘要】
用于自主车辆操作的校准验证方法相关申请的交叉引用这里描述的主题涉及与本专利同时提交的美国专利申请号15/642,876(代理人案号003.1402)中描述的主题。
本公开总体上涉及汽车，并且更具体地涉及用于使用表示操作环境的不同类型的数据之间的校准关系来对车载部件进行自主控制的系统和方法。
技术介绍
自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆通过使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停车辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。为了实现高水平的自动化，车辆通常配备有用于分析车辆周围环境的越来越多的不同类型的装置，诸如获环境图像的摄像头或捕其它成像装置、用于勘测或检测环境内的特征的雷达或其它测距装置等。实际上，不同的车载装置位于车辆上的不同位置，并且通常以不同的采样速率或刷新速率操作，并且因此从不同的观点或视角捕捉与不同时间点对应的不同类型的数据。因此，期望提供用于校准不同装置之间的关系以提高精确建立不同类型数据之间的相关性的能力的系统和方法，该校准进而促进从数据中收集关于环境的更准确信息和/或更精确地将属性分配到环境内的物体或特征，由此提高自主车辆控制。另外，还期望识别可能会影响校准并且采取适当的补救措施以缓解校准的潜在退化的潜在异常状况。另外，从以下结合附图和前面的
及
技术介绍
进行的具体实施方式和所附权利要求书中将更清楚地明白本专利技术的其它理想特征和特性。
技术实现思路
提供用于控制车辆的系统和方法。在一个实施例中，一种方法包括：响应于车辆的静止状况从车辆上的成像装置获取第一图像和在静止状况期间从车辆上的测距装置获取与成像装置的视场对应的第一组测距数据，基于车辆上的传感器系统的输出来检测该静止状况；将来自第一图像的第一边缘区域与第一组测距数据的第二边缘区域相关；基于相关的第一和第二边缘区域之间的关系相对于与一个或多个变换参数值相关联的参考关系来检测存在异常状况；以及发起针对异常状况的一个或多个补救措施。在另一个实施例中，提供了一种自主车辆，该车辆包括：在车辆上提供第一数据的第一装置；在车辆上提供第二数据的第二装置；车辆上的数据存储元件，其保持与第一装置和第二装置的配对相关联的一个或多个变换参数值；车辆上的一个或多个传感器；以及控制器，其由处理器基于一个或多个传感器的输出来检测静止状况，在静止状况期间从第一装置获取第一组第一数据，从第一组中过滤水平边缘区域从而产生过滤后的一组第一数据组，在静止状况期间获取第二组第二数据，并且基于过滤后的一组第一数据与第二组第二数据之间的关系来证实一个或多个变换参数值。在另一个实施例中，一种控制车辆的方法包括：响应于车辆的静止状况从车辆上的成像装置获取图像和在静止状况期间从车辆上的测距装置获取与成像装置的视场对应的一组测距数据来基于车辆上的传感器系统的输出来检测该静止状况；从图像中过滤水平边缘；识别该组测距数据中的非水平边缘区域；以及基于过滤后的图像的非水平边缘区域与该组测距数据中的非水平边缘区域之间的关系来确定最小变换成本。当最小变换成本大于与用于在与成像装置相关联的参考系和与测距装置相关联的参考系之间进行变换的一个或多个校准后的变换参数值相关联的参考变换成本时，该方法通过以下项来继续进行：基于过滤后的图像的非水平边缘区域与该组测距数据中的第二非水平边缘区域之间的关系来确定针对成像装置和测距装置中的一个是否存在异常状况；以及响应于异常状况而针对成像装置和测距装置中的一个发起补救措施。附图说明下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：图1是说明根据各种实施例的自主车辆的功能框图；图2是说明根据各种实施例的具有图1的一台或多台自主车辆的运输系统的功能框图；图3是根据各种实施例的适用于由图1的车辆实施的自动驾驶系统(ADS)的示意框图；图4是根据各种实施例的在诸如图1的自主车辆等车辆上的多个成像装置和多个测距装置的布置的图示；图5是根据一个或多个示例性实施例的用于在图1或图4的车辆上实施的处理模块的框图；图6是说明根据一个或多个示例性实施例的用于获取数据组用于其随后的校准或验证的数据收集过程的流程图；图7描绘了表示车辆上的摄像头的捕获的视场的环境的示例性图像；图8描绘了图7的图像的示例性过滤版本，其说明了适用于结合图6的数据收集过程使用的图像数据的水平边缘的过滤和非水平边缘的保持；图9描绘了关于车辆上适用于结合图6的数据收集过程进行相关的摄像头的捕获的视场的底层图像的未校准测距数据的示例性表示；图10是说明根据一个或多个示例性实施例的用于使用根据图6的数据收集过程收集的数据组来校准一对装置的校准过程的流程图；图11描绘了根据一个或多个示例性实施例的表示车辆上的摄像头的捕获的视场的并且覆盖来自摄像头根据图10的校准过程校准的测距装置的测距数据的环境的示例性图像；并且图12是说明根据一个或多个示例性实施例的用于验证一对装置的现有校准并且针对一个装置检测异常状况的校准验证过程的流程图。具体实施方式具体实施方式本质上仅仅是示例性的，并且不旨在限制应用和用途。另外，不存在被任何前述的
、
技术介绍
、
技术实现思路
或具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语模块是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。本公开的实施例在本文可依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可结合任何数量的系统来实践，并且本文所述的系统仅仅是本公开的示例性实施例。为了简明起见，本文可不详细描述与信号处理、数据传输、信令、成像、测距、同步、校准、控制系统以及该系统(和该系统的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可存在许多替代或附加的功能关系或物理连接。在本文描述的一个或多个示例性实施例中，能够进行某种级别的自主操作的车辆包括多个不同的装置，其从不同的视角并且以不同的采样或刷新速率来捕捉图像或以其它方式产生表示车辆附近的场景或环境的数据。基于成像装置的视线和/或视场与期间测距装置正在勘测或扫描与成像装置相关联的视场的时刻之间的关系，本文档来自技高网...

【技术保护点】
1.一种控制车辆的方法，所述方法包括：由所述车辆上的控制模块基于所述车辆上的传感器系统的输出来检测所述车辆的静止状况；响应于所述静止状况：由所述控制模块在所述静止状况期间从所述车辆上的成像装置获取第一图像；并且由所述控制模块在所述静止状况期间从所述车辆上的测距装置获取与所述成像装置的视场对应的第一组测距数据；由所述控制模块将来自所述第一图像的第一边缘区域与所述第一组测距数据的第二边缘区域相关；基于相关的第一和第二边缘区域之间的关系相对于与所述一个或多个变换参数值相关联的参考关系来检测存在异常状况；以及响应于所述异常状况，发起针对所述异常状况的一个或多个补救措施。

【技术特征摘要】
2017.07.06 US 15/6429321.一种控制车辆的方法，所述方法包括：由所述车辆上的控制模块基于所述车辆上的传感器系统的输出来检测所述车辆的静止状况；响应于所述静止状况：由所述控制模块在所述静止状况期间从所述车辆上的成像装置获取第一图像；并且由所述控制模块在所述静止状况期间从所述车辆上的测距装置获取与所述成像装置的视场对应的第一组测距数据；由所述控制模块将来自所述第一图像的第一边缘区域与所述第一组测距数据的第二边缘区域相关；基于相关的第一和第二边缘区域之间的关系相对于与所述一个或多个变换参数值相关联的参考关系来检测存在异常状况；以及响应于所述异常状况，发起针对所述异常状况的一个或多个补救措施。2.根据权利要求1所述的方法，其中：检测所述异常状况包括当与所述第一边缘区域和所述第二边缘区域之间的相关性相关联的最小变换成本大于与所述一个或多个变换参数值相关联的参考变换成本时，基于所述第一边缘区域与所述第二边缘区域之间的所述关系来确定关于所述成像装置和所述测距装置中的一个存在所述异常状况；并且发起所述一个或多个补救措施包括发起针对所述成像装置和所述测距装置中的所述一个的一个或多个补救措施。3.根据权利要求2所述的方法，进一步包括当所述第一边缘区域与所述第二边缘区域之间存在对应关系时，至少部分地基于所述第一边缘区域与所述第二边缘区域之间的所述关系来确定用于在与所述成像装置相关联的参考系和与所述测距装置相关联的参考系之间进行变换的一个或多个更新的变换参数值。4.根据权利要求2所述的方法，其中确定是否存在所述异常状况包括当一个或多个所述第一边缘区域在所述第二边缘区域中缺少对应关系时，检测针对所述测距...

【专利技术属性】
技术研发人员：W·牟，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US