交通灯分类系统的无标记性能评估器技术方案

公开了一种用于评估分类器的方法，该分类器用于确定图像中的交通灯信号状态。该方法包括通过载具的计算机视觉系统接收即将到来的交叉路口的交通信号设备的至少一个图像。该交通信号设备包括交通信号面，该交通信号面包括一个或多个交通信号元件。该方法包括由交通灯分类器(TLC)使用与所接收的至少一个图像相关的标记图像对交通信号面的分类状态进行分类。分类状态控制载具在交叉路口的操作。该方法包括评估由TLC生成的分类状态的分类性能。该评估是基于未标记图像的无标记性能评估。该方法包括基于评估的性能训练TLC。包括基于评估的性能训练TLC。包括基于评估的性能训练TLC。

【技术实现步骤摘要】
【国外来华专利技术】交通灯分类系统的无标记性能评估器
[0001]相关申请的交叉引用
[0002]本专利文件要求2020年6月16日提交的美国专利申请第16/902,678号的优先权，其公开内容通过引用完全并入本文件。

技术介绍

[0003]该文档描述了针对评估交通灯分类器系统的性能的方法和系统，诸如在自主载具和交通基础设施系统中使用的那些。
[0004]交通信号设备对安全驾驶至关重要。当载具通过或进入某些交叉路口或其他区域是安全、合法和适当的时间时，它们会发出信号。出于这个原因，自主载具需要精确检测交通信号设备的各种信号元件以及这些信号元件中的每一个的状态的能力。一旦确定，该信息被用于准确地指示自主载具如何对交通信号设备做出反应。
[0005]自主载具需要一种机制来确定交通信号的状态，使得它们可以安全地在交叉路口导航。这项任务的安全关键程度需要一个可扩展的管道来评估其性能。评估交通灯分类器性能的最明显的方法是使用人类用地面真实交通灯状态标记的数据。当交通灯分类器在相同的输入数据上运行时，可以将这些标记与交通灯分类器的输出进行比较，并且可以以多种方式评估性能。例如，不正确分类的绝对数量可以被量化并除以分类的总数，以给出错误率。还可以评估特定灯泡的分类置信度，以提供诸如平均精度的数字。不管最终报告的数字是多少，这种方法都有若干问题。
[0006]出于数种原因，环境条件和交通灯配置的变化会导致某些分类错误。为了最小化分类错误，已经提出了标记大量图像数据。这种方法适用于一些交通灯，但当标记大量数据时，它变得更加复杂和难以扩展。此外，对于实时数据分析或机器学习算法，处理用于实时分类交通灯信号的标记数据在计算上是复杂的。因此，载具基于经由实时数据接收的交通灯状态做出导航决策的能力变得非常有限。
[0007]因此，至少由于这些原因，需要一种在没有标记数据的情况下对交通信号设备的状态进行分类的评估分类器的性能的方法。

技术实现思路

[0008]在各种实施例中，公开了一种用于评估分类器的方法，该分类器用于确定数字图像中的交通灯信号状态。该方法包括通过载具的计算机视觉系统接收即将到来的交叉路口的交通信号设备的至少一个数字图像。该交通信号设备包括交通信号面，该交通信号面包括一个或多个交通信号元件。该方法包括由处理器通过交通灯分类器(TLC)使用与所接收的至少一个图像相关的标记图像对交通信号面的分类状态进行分类。当接近或处于交叉路口时，载具使用分类状态来控制载具的操作。该方法包括由处理器评估由TLC生成的分类状态的分类性能。该评估是基于未标记图像的无标记性能评估。该方法包括由处理器基于评估的性能训练TLC。
[0009]在一些实施例中，交叉路口可以包括多个交通信号设备。然后该评估可以包括由
处理器：(i)在交通信号设备的多个数字图像的序列中进行检测；(ii)在性能评估时间段内具有时间上不一致的交通灯转换的多个数字图像的不允许序列；(iii)计算时间上不一致的交通灯转换的不允许序列的数量；(iv)计算多个数字图像的转换序列的总数；以及(v)相对于转换序列的总数来归一化不允许序列。训练可以包括由处理器使用归一化的不允许序列来训练TLC。
[0010]该至少一个数字图像可以包括来自车载多个相机中的每个相机的至少一个数字图像。多个相机中的两个或更多个相机可以包括重叠的视场。然后该评估可以包括由处理器使TLC将相同的分类状态分配给来自具有重叠的视场的两个或更多个相机的交通信号面的每个数字图像的每个实例。
[0011]该载具可以是第一载具。然后该评估可以包括由处理器：(i)检测第一载具附近的第二载具，第二载具具有即将出现的交叉路口的交通信号设备的重叠的视场(FOV)；(ii)从第二载具接收通信，该通信包括与由第二载具的TLC分类的分类状态相关联的信息；以及(iii)比较由第一载具的TLC分类的分类状态和接收的由第二载具的TLC分类的分类状态，以确定由第一载具的TLC分类的分类状态中是否存在错误。训练可以包括由处理器使用比较的结果来训练TLC。
[0012]在一些实施例中，由处理器进行的评估可以包括：(i)接收TLC的原始输出序列，原始输出基于一组数字图像，每个原始输出对应于相应的一个分类状态；(ii)对TLC的原始输出进行滤波，以消除原始输出中的高频状态波动，以创建代表基于帧的状态的滤波输出；(iii)将分类状态与基于帧的状态进行比较；和(iv)响应于该比较，识别来自TLC的序列的至少一种分类状态是分类错误。训练可以包括由处理器使用被识别为分类错误的至少一个分类状态来训练TLC。
[0013]交叉路口可以包括多个具有冗余面的交通信号设备。然后该评估可以包括由处理器确定在性能评估时间段期间冗余面具有不一致分类状态的时间部分。训练可以包括由处理器使用所确定的与交叉路口的冗余面相关联的时间部分来训练TLC。
[0014]在一些实施例中，该评估可以包括由处理器：(i)确定通过TLC的分类状态是否是不允许的状态转换；以及(ii)识别分类状态是不允许的。训练可以包括由处理器使用所识别的不允许的分类状态来训练TLC。
[0015]在一些实施例中，不允许的状态转换可以包括以下之一：(i)红色状态，并且交通信号设备的先前分类状态是绿色状态；(ii)黄色状态，并且交通信号设备的先前分类状态是红色状态；以及(iii)绿色状态，并且交通信号设备的先前分类状态是黄色状态。
[0016]交叉路口可以包括多个具有多灯状态的交通信号设备。然后该评估可以包括，由处理器：(i)检测由TLC生成的分类状态是多灯分类状态；(ii)确定多灯状态规则和多灯交通信号设备的位置；以及(iii)基于所确定的多灯状态规则和多灯交通信号设备的位置，通过TLC检测不可信多灯状态的分类错误。训练可以包括由处理器使用所检测的分类错误来训练TLC。
[0017]在一些实施例中，对沿着载具的行驶路径的多个交叉路口中的每个即将出现的交叉路口重复确定分类状态。然后该评估可以包括由处理器：(i)在载具日志中查询分类状态的每个记录实例以及与沿着行驶路径通过的那些交叉路口的分类状态相关联的条件；以及(ii)利用至少一个分类概率低的条件来确定载具日志中的那些分类状态。训练可以包括由
处理器使用所确定的具有低分类概率的分类状态来训练TLC。
[0018]在一些实施例中，TLC可以基于机器学习(ML)算法来确定分类状态。然后该评估可以包括由处理器：(i)响应于对TLC性能的评估，使用TLC的ML算法跟踪被确定为具有失败分类的至少一个数字图像中的那些数字图像；以及(ii)为所述具有失败分类的数字图像生成标记数据，用于通过TLC的分类。
[0019]在一些实施例中，可以对沿着载具的行驶路径的每个交叉路口重复分类。分类可以创建多个分类状态，这些分类状态可以由TLC生成。然后该评估可以包括由处理器进行的以下任何一项或多项：(i)在第一性能评估时间段内，针对交通信号面的时间上不一致的交通灯转换评估多个分类状态；(ii)针对具有低分类概率的那些存储的分本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种评估用于确定数字图像中交通灯信号状态的分类器的方法，所述方法包括：通过载具的计算机视觉系统，接收交叉路口的交通信号设备的至少一个数字图像，其中所述交通信号设备包括交通信号面，所述交通信号面包括一个或多个交通信号元件；以及由处理器：实现用于所述载具的交通灯分类器(TLC),所述TLC使用与所接收的至少一个数字图像相关的标记图像来确定所述交通信号面的分类状态，评估通过所述TLC确定所述分类状态的性能，所述评估基于未标记图像的无标记性能评估，以及基于所评估的性能训练所述TLC。2.根据权利要求1所述的方法，其中：所述交叉路口包括多个交通信号设备；由所述处理器进行的所述评估包括：在所述交通信号设备的多个数字图像的序列中检测所述多个数字图像的、在性能评估时间段内具有时间上不一致的交通灯转换的不允许序列，计算所述时间上不一致的交通灯转换的所述不允许序列的数量，计算所述多个数字图像的转换序列的总数，以及相对于所述转换序列的总数归一化所述不允许序列；以及所述训练包括由所述处理器使用归一化的不允许序列训练所述TLC。3.根据权利要求1所述的方法，其中：所述至少一个数字图像包括来自车载多个相机中的每个相机的至少一个数字图像；所述多个相机中的两个或更多个相机具有重叠的视场；以及所述评估还包括由所述处理器使所述TLC将相同的分类状态分配给来自具有所述重叠的视场的所述两个或更多个相机的所述交通信号面的每个数字图像的每个实例。4.根据权利要求1所述的方法，其中：所述载具是第一载具；由所述处理器进行的所述评估包括：检测所述第一载具附近的第二载具，所述第二载具具有即将到来的交叉路口的所述交通信号设备的重叠的视场(FOV),从所述第二载具接收通信，所述通信包括与由所述第二载具的TLC分类的分类状态相关联的信息，以及比较由所述第一载具的TLC分类的分类状态和由所述第二载具的TLC分类的分类状态，以确定由所述第一载具的TLC分类的分类状态中是否存在错误；以及所述训练包括由所述处理器使用所述比较的结果训练所述TLC。5.根据权利要求1所述的方法，其中：由所述处理器进行的所述评估包括：接收所述TLC的原始输出序列，所述原始输出基于一组数字图像，每个原始输出对应于相应的一个分类状态，对所述TLC的所述原始输出进行滤波以消除所述原始输出中的高频状态波动，以创建代表基于帧的状态的滤波输出，
将所述分类状态与所述基于帧的状态进行比较，以及响应于所述比较，识别来自所述TLC的序列的至少一个分类状态是分类错误；以及所述训练包括由所述处理器使用被识别为分类错误的所述至少一个分类状态训练所述TLC。6.根据权利要求1所述的方法，其中：所述交叉路口包括具有冗余面的多个交通信号设备；由所述处理器进行的所述评估包括：确定在性能评估时间段期间所述冗余面的具有不一致的分类状态的时间部分；以及所述训练包括由所述处理器使用所确定的与所述交叉路口的所述冗余面相关联的时间部分训练所述TLC。7.根据权利要求1所述的方法，其中：由所述处理器进行的所述评估包括：确定通过所述TLC的所述分类状态是否是不允许的状态转换；以及识别所述分类状态是不允许的；以及所述训练包括由所述处理器使用所识别的不允许的分类状态训练所述TLC。8.根据权利要求7所述的方法，其中，所述不允许的状态转换包括以下中的一个：红色状态和所述交通信号设备的先前分类状态是绿色状态；黄色状态和所述交通信号设备的先前分类状态是红色状态；以及绿色状态和所述交通信号设备的先前分类状态是黄色状态。9.根据权利要求1所述的方法，其中：所述交叉路口包括具有多灯状态的多个交通信号设备；由所述处理器进行的所述评估包括：检测通过所述TLC生成的所述分类状态是多灯分类状态，确定多灯状态规则和多灯交通信号设备的位置，以及基于所确定的多灯状态规则和多灯交通信号设备的所述位置，通过所述TLC检测不可信多灯状态的分类错误；以及所述训练包括由所述处理器使用所检测的分类错误训练所述TLC。10.根据权利要求1所述的方法，其中：针对沿着所述载具的行驶路径的多个交叉路口中的每个即将出现的交叉路口重复确定所述分类状态；由所述处理器进行的所述评估包括：针对与沿着所述行驶路径经过的那些交叉路口的所述分类状态相关联的条件和所述分类状态的每个记录的实例，查询载具日志，以及确定所述载具日志中具有至少一个低分类概率的条件的那些分类状态；以及所述训练包括由所述处理器使用所确定的具有低分类概率的分类状态训练所述TLC。11.根据权利要求1所述的方法，其中：所述TLC基于机器学习(ML)算法确定所述分类状态；以及由所述处理器进行的所述评估包括：响应于对所述TLC性能的评估，使用所述TLC的所述ML算法跟踪被确定为失败分类的至
少一个数字图像的那些数字图像，以及为所述失败分类的那些数字图像生成标记数据，用于通过所述TLC的所述分类。12.根据权利要求1所述的方法，其中：对沿着所述载具的行驶路径的每个交叉路口重复所述分类；所述分类创建了可以通过所述TLC生成的多个分类状态；以及由所述处理器进行的所述评估包括以下任何一项或多项：(i)在第一性能评估时间段内，针对所述交通信号面的时间上不一致的交通灯转换评估所述多个分类状态，(ii)针对具有低分类概率的那些存储的分类状态，评估存储在载具日志中的所述多个分类状态，(iii)基于多灯状态规则和多灯交通信号设备的位置，针对不可信多灯状态的分类错误，评估所述多个分类状态，(iv)针对所述交通信号面的不允许的状态转换评估所述多个分类状态，(v)针对在第二性能评估时间段期间具...

【专利技术属性】
技术研发人员：G霍森，RL夸兰特，B勃朗宁，D拉马南，
申请(专利权)人：埃尔构人工智能有限责任公司，
类型：发明
国别省市：