从基础设施信号确定交通灯标签和分类质量制造技术

本文档公开了训练分类器以识别由车辆捕获的图像中的交通信号状态的方法。然后，当车辆在环境中行驶时做出移动决定时，车辆能够使用识别出的状态。系统确定交通信号在相机的视场内(即，在图像内)。该系统还接收具有交通信号的信号相位和定时数据的信号。该系统处理图像以识别包括交通信号的图像。该系统分析信号数据以确定在图像捕获时间交通信号的状态、用所确定的状态的标签对图像做标记，并将图像和标签传递给分类器以训练分类器。标签传递给分类器以训练分类器。标签传递给分类器以训练分类器。

【技术实现步骤摘要】
【国外来华专利技术】从基础设施信号确定交通灯标签和分类质量
[0001]相关申请的交叉引用
[0002]本专利文档要求于2020年8月25日提交的美国专利申请No.17/001,999的优先权。

技术介绍

[0003]当自主汽车(AV)在真实环境中行驶时，它们必须能够对他们的传感器检测到的各种对象进行分类。例如，AV检测系统需要对交通信号进行检测和分类，并将它们分类为红色、黄色或绿色，或者根据另一种状态(诸如闪烁)进行分类。
[0004]为了对检测到的对象进行分类，AV通常依赖于深度神经网络。但是，为了训练深度神经网络来执行准确的分类，要求大量标记的数据。对数据做标记的过程既耗时又昂贵。在对交通灯数据做标记的情况下，团队必须每天手动识别数百或甚至数千个交通灯的面(face)位置、灯泡位置、灯泡类型和灯泡状态，以建立可以在数以百万计的交通灯面中计数的训练集。此外，当训练集包括其中人类标记者校正自动化系统出错的标签的示例时，训练集会更有价值，因为这有助于教导网络并避免将来出现不准确的标记。在AV系统提供商改变车辆平台或希望在新的环境条件下操作的情况下，对大型数据集做标记所需的前导时间(lead time)需要提前几个月规划更改。当做标记过程完成时，这一要求限制了AV的操作能力。因此，期望改进的做标记方法来帮助训练神经网络以用于对象分类过程。
[0005]此外，应用于AV的深度神经网络的评估需要花时间，常常需要一天或更长时间来完成。这意味着对神经网络的任何评估都可能有些陈旧。因此，还需要改进的评估技术来帮助AV准确识别交通信号及其环境中的其它对象。
[0006]本文档描述了针对解决上述问题和/或其它问题的方法和系统。

技术实现思路

[0007]本文档公开了训练分类器以识别图像中的交通信号状态的方法。在各种实施例中，车辆在环境中行驶时可以使用相机来捕获环境的图像。车辆可以确定交通信号在相机的视场内，并且它可以将一些或全部图像保存到数据存储(store)，连同每个保存的图像的捕获时间一起保存到数据存储。可替代地，处理器可以用此类信息访问已经存在的数据存储。可以在车辆上或在车辆外部的系统中的处理器可以处理保存的图像以识别包括交通信号的图像。处理器将确定识别出的图像的捕获时间，访问指示捕获时交通信号的信号相位和定时的信号数据，分析捕获时接收到的信号数据以确定捕获时交通信号的状态，用所确定的状态的标签(label)对识别出的图像做标记(label)，并将识别出的图像和标签传递给分类器。然后分类器可以使用识别出的图像和标签来训练分类器。
[0008]可选地，处理器还可以处理保存的图像以识别各自包括附加交通信号的附加图像。对于附加图像中的每一个，处理器可以从数据存储中提取附加图像的捕获时间。对于每个附加图像，处理器然后可以分析附加信号数据以确定在附加图像的捕获时间附加图像中的附加交通信号的状态。处理器可以用附加交通信号的所确定的状态的标签对每个附加图像做标记，并且它可以将附加图像及其标签传递给分类器。分类器还将使用附加图像和每
个附加图像的标签来进一步训练分类器。
[0009]可选地，车辆(它可以是如上所述的同一车辆，或者它可以是不同的车辆)可以使用相机来捕获环境的新图像。处理器然后可以确定新图像之一包括交通信号，并且它可以使用分类器来确定在所确定的新图像中的交通信号的状态。处理器还可以访问在捕获所确定的新图像时收集的新信号数据，从信号数据中提取信号状态，并确定所提取的信号状态是否与分类器确定的状态相匹配。如果所提取的信号状态与分类器确定的状态不匹配，则系统可以使用所确定的新图像、所提取的信号状态和分类器确定的状态来进一步训练分类器。
[0010]可选地，确定交通信号在相机的视场内可以包括由处理器使用全球定位传感器来确定车辆的位置、分析地图数据以识别在相机的视场中的车辆前方的位置的特征，并确定识别出的特征之一是交通信号。
[0011]可选地，车辆的收发器可以从路边单元(RSU)接收作为信号相位和定时(SPaT)消息的信号数据。如果是，则确定交通信号在相机的视场内可以包括：(i)经由收发器从RSU接收地图数据；(ii)使用全球定位系统传感器确定车辆的位置；(iii)将地图数据与车辆的确定的位置和车辆的规划的路径相关(correlating)，以确定交通信号在视场中。
[0012]可选地，如果处理器包括与车辆集成的处理器组件，则确定交通信号在相机的视场内可以包括在处理图像时检测交通信号以识别包括交通信号的图像。
[0013]可选地，处理器可以接收针对识别出的图像的注释。如果是这样，则当将识别出的图像和标签传递给分类器时，处理器也可以将注释传递给分类器。分类器也可以使用注释来训练分类器。
[0014]可选地，处理器可以：(i)识别包括附加交通信号的附加图像；(ii)确定附加图像的捕获时间；(iii)分析附加信号数据以确定在附加图像的捕获时间附加图像中的附加交通信号的状态；(iv)接收附加交通信号的手动输入的标签；以及(v)确定所确定的附加交通信号的状态是否与手动输入的标签相匹配。如果所确定的附加交通信号的状态与手动输入的标签相匹配，则处理器可以将附加图像及其标签传递给分类器以用于训练分类器，否则它可以不将附加图像传递给分类器。
附图说明
[0015]图1是根据本公开的各种实施例的用于识别和分类交通信号设备的系统的示例。
[0016]图2是现有技术中可以存在的示例交通信号设备的图像的示例。
[0017]图3图示了训练分类器以识别捕获的图像中的交通信号状态的示例方法。
[0018]图4图示了系统可以通过该过程使用分类器的不正确表现(performance)来改进分类器的训练和未来表现的过程。
[0019]图5图示了示例交通灯分类管线，包括使用标记的数据来训练分类器，以及对未标记的图像进行分类以控制车辆的操作。
[0020]图6图示了系统可以通过该过程在为分类器开发训练数据集时评估人类标记者的表现的过程，并且在该过程中，系统可以滤除可能不可靠的数据以便在训练中不使用此类数据。
[0021]图7是图示根据本公开的各种实施例的可以用于包含或实现编程指令的示例硬件
的框图。
具体实施方式
[0022]如本文档中所使用的，单数形式“一(a)”、“一(an)”和“该(the)”包括复数引用，除非上下文另有明确规定。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员普遍理解的相同含义。如本文档中所使用的，术语“包括”是指“包括但不限于”。与本文档相关的附加术语的定义包括在具体实施方式的末尾。
[0023]现在参考图1，示出了用于识别和分类交通信号设备130的系统100。根据各种实施例，系统100包括车辆105。如图所示，车辆105在道路110上行驶。但是，可以所述任何合适的路径。
[0024]车辆105可以包括被配置为接收交通信号设备130的数字图像的计算机视觉系统115。计算机视觉系统115可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种训练分类器以识别图像中的交通信号状态的方法，所述方法包括：在环境中行驶时由车辆：使用相机来捕获所述环境的图像，确定交通信号在所述相机的视场内，以及将多个图像保存到数据存储，连同每个保存的图像的捕获时间一起保存到数据存储；以及由处理器：处理所述保存的图像以识别包括所述交通信号的图像，确定识别出的图像的捕获时间，访问指示在捕获时间所述交通信号的信号相位和定时的信号数据，分析在捕获时间接收到的信号数据以确定在捕获时间所述交通信号的状态，用确定的状态的标签对识别出的图像做标记，以及将所述识别出的图像和所述标签传递给分类器；以及由所述分类器使用所述识别出的图像和所述标签来训练所述分类器。2.如权利要求1所述的方法，还包括：由所述处理器处理所述保存的图像以识别多个附加图像，每个附加图像包括附加交通信号；对于所述附加图像中的每个附加图像，由所述处理器：从所述数据存储中提取所述附加图像的捕获时间，分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态，用所确定的附加交通信号的状态的标签对所述附加图像做标记，以及将所述附加图像及其标签传递给所述分类器；以及由所述分类器使用所述附加图像和所述附加图像中的每个附加图像的标签来进一步训练所述分类器。3.如权利要求1所述的方法，还包括：由车辆使用相机捕获所述环境的新图像；以及由所述处理器：确定所述新图像之一包括交通信号，以及使用所述分类器来确定在所确定的新图像中的所述交通信号的状态。4.如权利要求3所述的方法，还包括：访问在捕获所确定的新图像时收集的新信号数据；从所述信号数据中提取信号状态；确定所提取的信号状态是否与所述分类器确定的状态相匹配；以及如果所提取的信号状态与所述分类器确定的状态不匹配，则使用所确定的新图像、所提取的信号状态和所述分类器确定的状态进一步训练所述分类器。5.如权利要求1所述的方法，其中，确定所述交通信号在所述相机的视场内包括：由所述处理器：使用全球定位传感器来确定车辆的位置；
分析地图数据以识别在所述相机的视场内所述车辆前方的位置的特征；以及确定识别出的特征之一是所述交通信号。6.如权利要求1所述的方法，还包括经由车辆的收发器从路边单元RSU接收作为信号相位和定时SPaT消息的信号数据。7.如权利要求6所述的方法，其中，确定所述交通信号在所述相机的视场内包括：经由所述收发器从所述RSU接收地图数据；使用全球定位系统传感器来确定所述车辆的位置；以及将所述地图数据与所确定的车辆的位置和车辆的规划路径相关，以确定所述交通信号在所述视场中。8.如权利要求1所述的方法，其中：所述处理器包括与所述车辆集成的处理器组件；以及确定所述交通信号在所述相机的视场内包括在处理所述图像以识别包括所述交通信号的图像时检测所述交通信号。9.如权利要求1所述的方法，还包括：由所述处理器：接收对识别出的图像的注释，以及当将所述识别出的图像和所述标签传递给所述分类器时，也将所述注释传递给所述分类器；以及由所述分类器也使用所述注释来训练所述分类器。10.如权利要求1所述的方法，还包括，由所述处理器：识别包括附加交通信号的附加图像；确定所述附加图像的捕获时间；分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态；接收所述附加交通信号的手动输入的标签；确定所确定的所述附加交通信号的状态是否与所述手动输入的标签相匹配；以及如果所确定的附加交通信号的状态与所述手动输入的标签相匹配，则将所述附加图像及其标签传递给所述分类器以用于训练所述分类器，否则不将所述附加图像传递给所述分类器。11.一种训练自主车辆的分类器以识别图像中的交通信号状态的方法，所述方法包括：由处理器：访问包含环境的数字图像以及对于所述图像中的每个图像的捕获时间的数据存储；处理数字图像的组以识别包括交通信号的图像，确定识别出的图像的捕获时间，访问信号数据，所述信号数据指示在所述识别出的图像的捕获时间所述交通信号的信号相位和定时；分析在所述识别出的图像的捕获时间接收到的信号数据以确定在所述识别出的图像的捕获时间所述交通信号的状态，用确定的状态的标签对所述识别出的图像做标记，以及
将所述识别出的图像和所述标签传递给自主车辆的分类器；以及由所述分类器使用所述识别出的图像和所述标签来训练所述分类器。12.如权利要求11所述的方法，还包括，由所述处理器：处理所保存的图像以识别多个附加图像，每个附加图像包括附加交通信号；以及对于所述附加图像中的每个附加图像：从数据存储中提取所述附加图像的捕获时间，分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态，用所确定的所述附加交通信号的状态的标签来对所述附加图像做标记，以及将所述附加图像及其标签传递给所述分类器；以及由所述分类器使用所述附加图像和所述附加图像中的每个附加图像的标签来进一步训练所述分类器。13.如权利要求11所述的方法，还包括，由所述处理器：接收所述环境的新图像；确定所述新图像之一包括交通信号；以及使用所述分类器来确定在所确定的新图像中的所述交通信号的状态。14.如权利要求13所述的方法，还包括：访问在捕获所确定的新图像时收集的新信号数据；从所述信号...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：福特全球科技有限责任公司，
类型：发明
国别省市：