用于机动车辆的视觉系统和方法技术方案

一种用于机动车辆的视觉系统，包括：适于从机动车辆的周围环境捕获图像(30)的成像装置(11)，以及适于对由所述成像装置(11)捕获的图像(30)执行图像处理的数据处理单元(14)。数据处理单元(14)包括：交通标志的交通标志检测器(31)，其适于通过图像处理检测由所述成像装置(11)捕获的图像(30)中的交通标志；决策部分(35)；以及交通标志估计器(36)，其适于估计由所述成像装置(11)捕获的图像(30)中的一个或多个交通标志的有效性信息(37)。多个交通标志的有效性信息(37)。多个交通标志的有效性信息(37)。

【技术实现步骤摘要】
【国外来华专利技术】用于机动车辆的视觉系统和方法


[0001]本专利技术涉及一种用于机动车辆的视觉系统，包括：适于从机动车辆的周围环境捕获图像的成像装置，以及适于对由所述成像装置捕获的图像执行图像处理的数据处理单元，其中所述数据处理单元包括交通标志检测器和决策部分，该交通标志检测器适于通过图像处理检测由所述成像装置捕获的图像中的交通标志。本专利技术还涉及对应的视觉方法。

技术介绍

[0002]交通标志识别是大部分现代车辆中的重要组成部分。这些标志通常使用机器学习技术(例如，深度神经网络)来检测和分类。正常情况下的表现一般都很好；然而，当发生罕见错误分类时，可能会具有严重的影响。可以用地图数据来补充基于图像的信息；然而，这并不总是可用的或者质量可能太低。因此，目前的自主驾驶和半自主驾驶车辆在地图绘制良好的区域外可能不够安全。
[0003]此外，诸如天气(下雨、下雪等)、一天的时间(白天/晚上)等的可靠性因素可以用于确定当前分类的可靠性，参见US 8,918,277 B2。然而，使用可靠性因素只能大体上给出基于当前图像的分类性能的估计；它没有解决外观改变的单独标志的主要问题。
[0004]自主车辆特别关注的是这样的情况：驾驶员不注意周围环境，并且标志的错误分类可能会导致潜在的危险情况。例如，由于污物而遮挡的30km/h速度标志被错误地分类为80km/h速度标志，这可能会导致车辆加速远超过速度限制。
[0005]额外的风险来自破坏和犯罪行为，例如将真实的标志放置在不适当的地方或修改现有的标志，使它们以危险的方式被错误分类。这方面的特殊案例是可能使用对基于机器学习的分类器的对抗攻击。

技术实现思路

[0006]本专利技术的根本问题在于提供一种视觉系统，其具有适用于自主机动车辆和自驾驶汽车的可靠的交通标志识别。
[0007]本专利技术通过独立权利要求的特征解决了这个问题。根据本专利技术，数据处理单元包括交通标志估计器，其适于估计由成像装置捕获的图像中的一个或多个交通标志的有效性信息。有效性信息例如可以包括在由成像装置捕获的图像中存在一个或多个特定交通标志的概率。替代地或另外，有效性信息例如可以包括由成像装置捕获的图像中的交通标志是否有效的信息，该信息可以例如由对应的标志位来表示。交通标志可以是柱子上的交通标志、道路标志/道路标记或交通灯上的标志，并且因此可以位于任何地方(在交通柱上、在道路上、在交通灯上)，并且可以从成像装置和/或自我车辆(ego vehicle)可见。
[0008]通常，人类驾驶员不容易受到改变的标志的影响，因为他们能够基于标志的周围环境使用常识验证标志的合理性。因此，人类驾驶员不太可能例如在城市环境中将脏污的30km/h的标志误解为80km/h的标志。这种人类的常识是基于诸如道路类型、道路曲率、人行道的存在、建筑物等的周围特征的组合。这种常识正是本专利技术试图在技术上为自动视觉系
统复制的。
[0009]优选地，交通标志估计器基于来自成像装置的至少一个完整图像(即，整体地)来估计交通标志有效性信息。在该优选实施例中，交通标志估计器可以被表示为整体交通标志估计器。
[0010]由交通标志估计器提供的信息可以与由交通标志检测器/分类器提供的信息进行比较或组合。基于这种组合信息，数据处理单元的决策部分可以采取适当的动作，例如，组合交通标志检测器和交通标志估计器的信息以发起适当的响应，在数据处理单元的进一步处理中接受交通标志，在数据处理单元的进一步处理中忽略交通标志，向信令设备输出控制信号以向驾驶员建议替代动作，和/或向信令设备输出控制信号以向驾驶员发出信号以接管对车辆的控制。
[0011]本专利技术适用于自主驾驶，其中自我车辆是适于部分地或完全地自主或自动驾驶的自主车辆，并且驾驶员的驾驶动作部分地和/或完全地由自我车辆代替或执行。
[0012]在优选实施例中，当决策部分发现在检测到的/经分类的交通标志与交通标志估计器的估计之间的差异时，决策部分确定交通标志检测器和交通标志估计器提供的标志解释中的哪一个是合适的或最合适的，其中所述数据处理单元的进一步处理基于被认为是合适/最合适的所述交通标志。在优选实施例中，在由交通标志估计器估计的多个可能的速度标志下，具有最低速度的速度标志被数据处理单元认为是合适/最合适的，并且因此被选择为用于进一步处理的真实速度标志。换言之，数据处理单元中的进一步处理优选地基于选择检测到的交通标志具有所述最低可能速度，即，超过预先定义的概率阈值的最低速度。优选地，决策部分发出控制信号以控制机动车辆来执行符合被视为合适/最合适的所述交通标志的适当动作。例如，控制信号可以控制机动车辆的制动系统来制动，并因此使机动车辆减速，直到已经达到合适/最合适的速度标志的速度。
[0013]本专利技术可以用于估计任何类型的交通标志(例如，停止标志、让路标志、优先标志等)的有效性信息(例如，概率或历史概率)。
[0014]优选地，数据处理单元包括道路标记估计器，该道路标记估计器适于估计一个或多个道路标记的有效性信息(例如，概率)，并将道路标记有效性信息与由道路标记检测器/分类器检测和分类的对应道路标记检测进行比较。因此，本专利技术可以用于估计道路标记(例如，左转、右转、公共汽车车道、速度等)的有效性信息，并以类似于交通标志的方式将(整体)有效性信息与经分类的道路标记检测进行比较。
[0015]本专利技术可以部署在其中驾驶员可以从自主驾驶系统接管的机动车辆中。在这种场景中，决策部分如果发现在经分类的检测到的交通标志与交通标志估计器的估计之间的不一致，则可以发出控制信号以关闭自主驾驶系统并将控制返回给驾驶员。
[0016]优选地，交通标志估计器是分类器，并且更优选地是经训练的分类器。任何种类的基于机器学习的分类器都可以用于交通标志估计器，例如，任何种类的神经网络，如卷积神经网络或递归神经网络、支持向量机、推进分类器、词袋分类器。
[0017]根据本专利技术的一个方面，在不包括关于感兴趣的交通标志(即，当前有效的交通标志)的信息的训练图像上执行对交通标志估计器的训练。例如，如果已经在速度标志限制速度为80km/h的道路上拍摄了图像，则训练图像不应包含该信息。通常，交通标志估计器(特别是神经网络)被训练以优选地基于完整图像来预测已经经过并因此对相应图像有效的最
近的交通标志。
[0018]在速度标志或更一般的特定类型的交通标志的情况下，这样做是合适的：从标志已经被自我车辆经过并对成像系统不再可见的点开始选择图像，直到下一速度标志或相同特定类型的交通标志刚好进入视线。对于这种训练图像，交通标志估计器(特别是神经网络)被训练以优选地基于完整图像来预测已经经过的最近的速度标志或特定类型的交通标志。
[0019]训练(整体)交通标志估计器的替代方法是使用感兴趣的交通标志仍然可见，但所有标志都被掩盖、模糊或替换为随机标志的图像，以避免使(整体)分类器学习检测实际标志，而是强迫它对实际周围环境进行分类。
附图说明
[0020]在下面，本专利技术将参考附图在优本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于机动车辆的视觉系统，包括：适于从所述机动车辆的周围环境捕获图像(30)的成像装置(11)，以及适于对由所述成像装置(11)捕获的图像(30)执行图像处理的数据处理单元(14)，其中，所述数据处理单元(14)包括交通标志检测器(31)和决策部分(35)，所述交通标志检测器(31)适于通过图像处理检测由所述成像装置(11)捕获的图像(30)中的交通标志，其特征在于，所述数据处理单元(14)包括交通标志估计器(36)，所述交通标志估计器(36)适于估计由所述成像装置(11)捕获的图像(30)中的一个或多个交通标志的有效性信息(37)。2.根据权利要求1所述的视觉系统，其中，所述交通标志估计器(36)适于基于来自所述成像装置(11)的一个或多个完整图像整体地估计所述交通标志有效性信息(37)。3.根据前述权利要求中任一项所述的视觉系统，其中，所述交通标志估计器(36)适于将所述估计出的交通标志有效性信息(37)输出到所述数据处理单元(14)的决策部分(35)。4.根据权利要求3所述的视觉系统，其中，所述决策部分(35)将由所述交通标志估计器(36)提供的信息与由所述交通标志检测器(31)和/或交通标志分类器(33)提供的信息进行比较或组合。5.根据权利要求4所述的视觉系统，其中，基于所述比较或组合，所述决策部分(35)发起包括以下各项中的一项或多项的适当动作：
‑
组合所述交通标志检测器(31)和所述交通标志估计器(36)的信息以发起适当的响应；
‑
在进一步处理中接受所述检测到的交通标志；
‑
在进一步处理中忽略所述检测到的交通标志；
‑
向信令设备(18)输出控制信号(38)，以向驾驶员建议替代动作；
‑
向信令设备(18)输出控制信号(38)，以向所述驾驶员发出信号以接管对所述车辆的控制。6.根据前述权利要求中任一项所述的视觉系统，其中，当由所述决策部分(35)发现在检测到的/经分类的交通标志与由所述交通标志估计器(36)进行的...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：安致尔软件公司，
类型：发明
国别省市：