载具灯分类系统技术方案

所描述的方面和实施方式使得能够在自主载具(AV)应用中进行载具灯分类。在一个实施方式中，公开了一种方法和执行该方法的系统，该方法包括由处理设备获得表征自主载具(AV)的驾驶环境的第一图像数据。处理设备可以基于图像数据识别驾驶环境内的载具。处理设备可以使用一个或多个经训练的机器学习模型(MLM)处理图像数据，以确定载具的一个或多个灯的状态，并基于确定的灯的状态引起对AV的驾驶路径的更新。更新。更新。

【技术实现步骤摘要】
载具灯分类系统


[0001]本说明书总体上涉及自主载具。更特别地，本说明书涉及通过对自主载具的驾驶环境中的载具的灯进行分类来改进自主驾驶系统和组件。

技术介绍

[0002]自主(完全或部分自驾驶)载具(AV)通常通过用各种电磁(例如，雷达和光学)和非电磁(例如，音频和湿度)传感器感测外部环境来进行操作。一些自主载具基于感测的数据制定通过环境的驾驶路径。可以基于全球定位系统(GPS)数据和道路地图数据确定驾驶路径。在GPS和道路地图数据可以提供关于环境的静态方面(建筑物、街道布局、道路封闭等)的信息的同时，从同时收集的感测数据获得动态信息(诸如关于其他载具、行人、路灯等的信息)。自主载具选择的驾驶路径和速率状态的精确性和安全性取决于对驾驶环境中存在的各种对象的及时且准确的识别以及驾驶算法处理关于环境的信息并向载具控件和传动系统提供正确指令的能力。

技术实现思路

[0003]在一种实施方式中，公开了一种方法，该方法包括由处理设备获得表征自主载具(AV)的驾驶环境的图像数据；基于图像数据识别布置在驾驶环境内的载具；使用第一机器学习模型(MLM)处理图像数据；和使用经处理的图像数据确定载具的一个或多个灯的状态。
[0004]在另一实施方式中，公开了一种系统，该系统包括自主载具(AV)的感测系统，该感测系统具有：第一相机，用于捕获表征自主载具(AV)的驾驶环境的第一图像数据；存储器；和处理设备，与存储器联接，用于从第一相机取得第一图像数据；基于第一图像数据识别布置在驾驶环境内的载具；使用第一机器学习模型(MLM)处理第一图像数据；使用经处理的图像数据确定载具的一个或多个灯的状态；和基于载具的一个或多个灯的状态引起对AV的行进路径的更新。
[0005]在另一实施方式中，公开了生成用于机器学习模型的训练数据的方法，其中，生成训练数据包括：识别具有第一图像数据的第一训练输入，该第一图像数据描绘自主载具(AV)的驾驶环境中的第一载具；识别第一训练输入的第一目标输出，其中，第一目标输出指示与第一载具的一个或多个灯的第一识别状态对应的第一载具灯分类；和提供训练数据以在(i)包括第一训练输入的一组训练输入；和(ii)包括第一目标输出的一组目标输出上训练机器学习模型。
附图说明
[0006]本公开通过示例的方式而非限制的方式进行说明，并且当结合附图考虑时可以参考以下详细描述来更充分地理解，在附图中：
[0007]图1是示出根据本公开的一些实施方式的能够进行载具灯分类的示例自主载具(AV)100的组件的图。
[0008]图2是示出根据本公开的一些实施方式的能够进行载具灯分类的AV的感知系统的一部分的示例架构的图。
[0009]图3是示出本公开的实施方式可以在其中操作的载具灯分类系统的框图。
[0010]图4是示出本公开的实施方式可以在其中操作的载具灯分类系统的框图。
[0011]图5A是根据某些实施例的用于使用图像数据创建机器学习模型的数据集的示例数据集生成器。
[0012]图5B是示出根据某些实施例的用于训练机器学习模型以生成输出的系统的框图。
[0013]图6是示出根据某些实施例的用于标记用于载具灯分类的训练数据的系统的框图。
[0014]图7描绘根据本公开的一些实施方式的用于对AV的驾驶环境中的相邻载具的载具灯进行分类的一个示例方法的流程图。
[0015]图8描绘根据本公开的一些实施方式的能够在自主驾驶环境中进行载具灯分类的示例计算机设备800的框图。
具体实施方式
[0016]自主载具(AV)在导航通过驾驶环境时做出许多决策并执行许多动作。AV通常依赖于对驾驶环境的准确感知来做出影响操作决策的确定。例如，AV可以预测其他代理(例如，相邻载具、行人、移动和/或静止对象等)的动作，并做出改变AV驾驶路径的决策，诸如以避免与其他代理发生碰撞。感知和理解(例如，其他载具的)载具灯有助于AV做出操作决策，以安全地导航通过驾驶环境。例如，载具灯可以为AV提供另一载具的行为或意图的强指示(例如，转向信号灯指示切入、倒行灯指示驻停行为或意图、危险灯指示双排驻停行为或意图等)，并且可以帮助AV遵守法律(例如，向具有紧急灯的紧急响应载具让行、停止并向具有活动闪光灯的校车让行等)。对相邻载具的载具灯进行分类可以帮助AV就周围的驾驶环境做出明智的决策。术语“驾驶环境”应当被理解为包括可以发生自推进载具运动的所有环境。例如，“驾驶环境”可以包括飞机的任何可能的飞行环境或水上水下载具的海上环境。
[0017]载具灯的分类可能存在许多挑战。现有的光检测和分类的方法包括针对不同种类的灯(例如尾灯、转向灯)开发的各种不同的启发式方法。然而，不同的载具灯被用于多种场景(例如，转向灯用于发信号通知转向意图和用于指示失灵的载具)，并且通常具有不同的类型、尺寸和外观。针对所有这样不同类型的灯收集足够开发详尽的启发式方法的量的数据可能是困难的，尤其是考虑到某些灯只是在驾驶时段期间偶尔遇到的事实(例如，紧急响应载具、事故、校车场景等)。在实况驾驶环境中，由于诸如照明(例如，来自其他对象的反射)、遮挡(例如，被其他对象)、不利的图像捕获角度(例如，相机的视场挑战)等环境因素，许多灯可能难以检测。此外，对图像数据的相机图块(patch)或选择可能不很好地表示真实载具的灯信号(例如，自动相机的时间混叠、下采样的空间混叠、图像数据内的辉光/光晕等)。不同的载具类型和型号可能具有不同的灯配置，这使得在确定确切的灯位置、灯质量和/或不同的灯行为(例如，以独特的节奏闪光、具有不同的灯色调等)时非常不一致。此外，不同的载具灯可能有不同的技术和/或法律要求。
[0018]本公开的各方面和实施方式通过实现可靠且快速地确定对自主载具(AV)的驾驶环境中的相邻载具的载具灯分类的方法和系统来解决AV的感测系统的这些和其他缺点。例
如，该方法和系统可以捕获与驾驶环境的状态关联的图像数据并且确定相邻载具位于AV的驾驶环境内。可以在图像数据中捕获一个或多个载具的配置和状态，并在一系列图像帧上跟踪该配置和状态，以确定载具灯分类。例如，一个或多个载具灯分类可以包括进行与相邻载具的左转向灯、右转向灯、危险灯、闪光灯、倒行灯、头灯、尾灯和/或制动灯的载具的激活和/或停用关联的确定。
[0019]一个或多个载具分类确定可以分解成子类别。例如，在闪光灯中，可以有几个子类别，例如校车闪光灯、施工载具闪光灯和/或紧急载具闪光灯。在一些实施例中，可以选择性地利用子类别的标记(例如，以减少标记工作，一些子类别可以在视觉上相似，选择分类精度水平)。在另一示例中，尾灯可以包括制动灯和/或行驶尾灯。
[0020]AV的感知系统可以获得指示AV的驾驶环境的状态的图像数据。感知系统可以识别存在于AV的驾驶环境(例如，到AV的预定接近度内的区域)中的相邻载具。识别的相邻载具中的一些可能在与AV相同的方向上行驶，而其他载具可能在不同(例如，相反)的方向上行驶。感知系统可以处理图像数据(例如，使用机器学习模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：由处理设备获得表征自主载具(AV)的驾驶环境的图像数据；由所述处理设备基于所述图像数据识别布置在所述驾驶环境内的载具；使用第一机器学习模型(MLM)处理所述图像数据；和使用经处理的图像数据确定所述载具的一个或多个灯的状态。2.根据权利要求1所述的方法，其中，处理所述图像数据包括：使用所述第一MLM并基于所述图像数据获得一个或多个特征向量；使用第二MLM并基于所述一个或多个特征向量获得表示所述载具的一个或多个灯的状态的载具灯分类。3.根据权利要求2所述的方法，其中，所述特征向量中的每一个是通过处理一系列图像帧中的相应一个而获得的，所述一系列图像帧多次描绘所述载具；并且其中，处理所述一个或多个特征向量包括：将所述一个或多个特征向量组合成特征向量集合；和将所述特征向量集合输入到所述第二MLM中。4.根据权利要求2所述的方法，其中，所述第一MLM和所述第二MLM中的每一个包括至少一个卷积神经元层。5.根据权利要求2所述的方法，其中，获得所述载具灯分类包括：接收值集合，所述值集合中的每一个值与一个或多个候选载具灯分类中的相应候选载具灯分类关联；和基于所述值集合中满足阈值条件的至少一个值，从所述一个或多个候选载具灯分类中选择载具灯分类。6.根据权利要求1所述的方法，还包括：由所述处理设备接收表征所述驾驶环境的lidar数据；由所述处理设备并基于所述lidar数据，确定所述图像数据内的所述载具的边界；和由所述处理设备基于所述载具的边界裁剪所述图像数据。7.根据权利要求1所述的方法，其中，所述图像数据包括用第一相机捕获的第一组图像帧和用第二相机捕获的第二组图像帧。8.根据权利要求7所述的方法，其中，处理所述图像数据包括：使用所述第一MLM处理所述第一组图像帧以获得第一特征向量集合；使用第二MLM处理所述第二组图像帧以获得第二特征向量集合；和使用第三MLM处理所述第一特征向量集合和第二特征向量集合以确定所述载具的一个或多个灯的状态。9.根据权利要求1所述的方法，还包括：由所述处理设备基于所述载具的一个或多个灯的状态预测所述载具的将来动作；和由所述处理设备基于预测的将来动作引起对所述AV的行进路径的更新。10.根据权利要求1所述的方法，其中，所述第一MLM使用多个训练数据集进行训练，其中，每个训练数据集包括对具有处于操作状态的一个或多个灯的载具的一个或多个描绘，以及识别所述载具的一个或多个灯的操作状态的注释。11.一种系统，包括：
自主载具(AV)的感测系统，所述感测系统包括：第一相机，用于捕获表征自主载具(AV)的驾驶环境的第一图像数据；存储器；和处理设备，联接到所述存储器，用于：从所述第一相机获得所述第一图像数据；基于所述第一图像数据识别布置在所述驾驶环境内的载具；使用第一机器学习模型(MLM)处理所述第一图像数据；使用经处理的图像数据确定所述载具的一个或多个灯的状态；和基于所述载具的一个或多个灯的状态引起对所述AV的行进路径的更新。12.根据权利要求11所述的系统，其中，所述处理设备还用于：使用所述第一MLM并基于所述第一图像数据获得一个或多个特征向量；和使用第二MLM并基于所述一个或多个特征向量，获得...

【专利技术属性】
技术研发人员：F夏，B吴，D李，Z郭，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：