用于确定车道上的危险源的方法和装置制造方法及图纸

本发明专利技术涉及一种用于借助于车辆(10)的摄像机(18)确定在车辆(10)前方或后方的检测区域(22)中的车道(16)上的危险源(14)的方法，其中，借助于摄像机(18)对检测区域(22)的图像进行检测，生成对应于所述图像的图像数据，借助于图像数据在使用神经网络(32)的情况下确定图像的第一图像区域(28)，该第一图像区域与检测区域(22)中的车道(16)相对应，借助于第一图像区域(28)在使用神经网络(32)的情况下确定图像的第二图像区域(30)，该第二图像区域与检测区域(22)中的车道(16)上的危险源(14)相对应。应。应。

【技术实现步骤摘要】
【国外来华专利技术】用于确定车道上的危险源的方法和装置


[0001]本专利技术涉及一种用于借助于车辆的摄像机确定在车辆、特别是道路行驶车辆前方或后方的检测区域中的车道上的危险源的方法。本专利技术还涉及一种用于确定检测区域中的车道上的危险源的装置。

技术介绍

[0002]在自主驾驶的范围内以及在驾驶员辅助系统中，应当对通过固定在车辆上的摄像机拍摄的图像的图像数据进行处理，以便探测在车辆前方或后方的检测区域中的车道上的危险源。一种可能的危险源是车道上的物体、例如丢失的装载物/货物或排气管或人员。车道上的其它危险源例如是坑洼、冰层或水膜，它们可能引起打滑。
[0003]迄今为止已知的基于神经网络的方法、例如单目测距/单目深度(MonoDepth)或语义分割(Semantic Segmentation)由于缺少训练数据不能对这种危险源进行分类并且因此也不能探测这种危险源。在典型的交通情况中，这些危险源出现得过于罕见，以致于不能产生用于训练神经网络的适合的数据项。
[0004]基于检测区域的图像序列的光流的方法仅能在车辆与危险源之间的距离非常小时使用。此外，这种方法的计算量非常大。
[0005]由Andrews等人在第33届机器学习国际会议的会议论文集中的文献：“用于异常检测的迁移表征学习(Transfer Representation
‑
Learning for Anomaly Detection)”，已知两种用于在数据项中探测异常现象的方法。在两种方法中，使用神经网络的中间层的输出，以便借助于支持向量机探测异常情况。在第一种方法中使用的神经网络在使用不同于待分类数据项的数据项的情况下来训练。在第二种方法中使用神经网络，该神经网络借助于待分类的数据项的不包含异常情况的部分来训练。
[0006]由Badrinarayanan等人的文献，“SegNet：用于图像分割的深度卷积编码器
‑
解码器架构(SegNet:A Deep Convolutional Encoder
‑
Decoder Architecture for Image Segmentation)”(arXiv:1511.00561v3)，已知一种用于在使用神经网络的情况下对图像点进行语义分类的方法。所使用的神经网络包括：编码器网络，其将图像语义分割为不同的图像区域；和解码器网络，其使用编码器网络的参数将各个图像点与图像区域中的相应区域相关联。
[0007]由Chalapathy等人的文献：“使用单分类神经网络进行异常检测(Anomaly Detection using One
‑
Class Neural Networks)”(arXiv:1802.06360v1)，已知了一种用于在复杂的数据项中探测异常情况的方法。所使用的神经网络包括对数据项进行分类的、具有固定权重的编码器网络和连接在编码器网络后面的前馈网络，该前馈网络特别被设计为用于，在分类的数据项中探测异常情况。

技术实现思路

[0008]本专利技术的目的是，提出一种方法和一种装置，通过所述方法和装置能够借助于车
辆的摄像机简单地确定在车辆前方或后方的检测区域中的车道上的危险源。
[0009]该目的通过具有权利要求1的特征的方法和通过具有权利要求14的特征的装置来实现。有利的改进方案在从属权利要求中给出。
[0010]摄像机优选固定地与车辆连接。车道特别可以是街道。车辆特别是道路行驶车辆。危险源特别是车道上的物体、例如丢失的装载物或排气管或人员。危险源还可以是坑洼、冰板或水膜，它们可能引起打滑。
[0011]为了确定在检测区域中的车道上的危险源，在根据权利要求1的方法中首先使用第一图像区域，以便将对危险源的搜索限制在检测区域的确定的子区域上。在此，神经网络在使用图像数据的情况下确定图像的显示/表示、特别是以特征向量的矩阵的形式的显示。该显示被用于对图像的图像区域进行分类。因此在使用所述显示的情况下确定第一图像区域。第一图像区域在此相应于检测区域中的车道。此外，例如借助于第一图像区域中神经网络中间层的输出信息确定图像的第二图像区域。这特别是在使用与用于确定第一区域的神经网络相同的神经网络的情况下进行。第二图像区域与在检测区域中的车道上的危险源相对应。另选地，为了确定第二图像区域可以使用另一神经网络。
[0012]在根据权利要求1的方法中，为了探测危险源仅需要唯一一幅检测区域的图像。特别地，该图像不必是立体图像。因此，为了执行该方法，仅需要单目摄像机，即具有唯一一个镜头并且仅能拍摄非立体图像的摄像机。因此，根据本专利技术的方法可以被简单地执行。
[0013]在一个优选的实施方式中，借助于第一图像区域在使用神经网络的中间层的输出信息的情况下确定第二图像区域。中间层优选是神经网络的编码器网络的层。危险源在主要仅包括检测区域中的车道的第一图像区域中是异常情况、即不期望的或非典型的图案。由Andrews等人在第33届机器学习国际会议的会议论文集中的文献“用于异常检测的迁移表示学习(Transfer Representation
‑
Learning for Anomaly Detection)”，已知神经网络的中间层的输出可被用于探测数据项中的异常现象。在优选的实施方式中使用神经网络的这种特性，以便借助于相同的神经网络既确定第一区域，又在对应于第一图像区域的图像数据中探测危险源。由此，该方法可以特别简单地执行，因为仅需要唯一一个神经网络。
[0014]优选地，借助于图像数据在使用神经网络的情况下针对图像的每个图像点分别确定第一特征向量，并且借助于该第一特征向量确定第一图像区域。在使用第一特征向量的情况下对图像的图像点进行分类。将所述分类用于进行图像的语义分割，即将图像划分成就内容而言连贯的区域，因此确定第一图像区域。在本申请中，特征向量不仅理解为神经网络本身的输出信息，而且也理解为神经网络的中间层的输出信息。
[0015]在一个优选的实施方式中，在使用神经网络的情况下确定第二特征向量并且借助于该第二特征向量确定第二图像区域。特别地，为了确定第二特征向量使用神经网络的中间层的输出信息。另选地或附加地，在使用神经网络的情况下针对第一图像区域的预先确定的子区域分别确定第二特征向量。在使用第二特征向量的情况下对被分配给第一图像区域的图像点进行分类。这种分类被用于确定第二图像区域并且由此确定危险源。
[0016]在另一个优选的实施方式中，在使用神经网络的情况下针对第一图像区域确定第二特征向量。特别地，为了确定第二特征向量使用神经网络的中间层的输出信息。确定与第一图像区域的图像点相对应/相关联的第二特征向量的平均值。针对第二特征向量中的每个第二特征向量确定在该平均值与相应的第二特征向量之间的差。如果所述差的值高于、
低于或等于预先确定的阈值时，将图像的与相应的第二特征向量相对应的预先确定的子区域分配为第二图像区域。上述差优选被加权。特别是，高于、低于或等于预先确定的阈值的与平均值的差本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于借助于车辆(10)——特别是道路行驶车辆(10)——的摄像机(18)确定在车辆(10)前方或后方的检测区域(22)中的车道(16)上的危险源(14)的方法，其中，借助于摄像机(18)对检测区域(22)的图像进行检测，
‑
生成对应于所述图像的图像数据，
‑
借助于图像数据在使用神经网络(32)的情况下确定图像的第一图像区域(28)，该第一图像区域与检测区域(22)中的车道(16)相对应，
‑
借助于第一图像区域(28)在使用神经网络(32)或另一神经网络的情况下确定图像的第二图像区域(30)，该第二图像区域与检测区域(22)中的车道(16)上的危险源(14)相对应。2.根据权利要求1所述的方法，其特征在于，借助于第一图像区域(28)在使用神经网络(32)的中间层的输出信息的情况下确定第二图像区域(30)，其中，神经网络(32)优选至少包括编码器网络和解码器网络。3.根据权利要求1或2所述的方法，其特征在于，借助于图像数据在使用神经网络(32)的情况下针对图像的每个图像点分别确定第一特征向量，借助于所述第一特征向量确定第一图像区域(28)。4.根据权利要求1至3中任一项所述的方法，其特征在于，在使用神经网络(32)的情况下针对第一图像区域(28)确定第二特征向量，其中，确定与第一图像区域的图像点相对应的第二特征向量的平均值，在使用所述平均值和第二特征向量的情况下确定第二图像区域(30)。5.根据权利要求1或2所述的方法，其特征在于，借助于图像数据在使用神经网络(32)的情况下针对图像的每个图像点分别确定第一特征向量，借助于所述第一特征向量确定第一图像区域(28)，借助于神经网络(32)针对第一图像区域(28)确定第二特征向量，确定与第一图像区域(28)的图像点相对应的第二特征向量的平均值，针对所述第二特征向量中的每个第二特征向量确定在所有属于第一图像区域(28)的第二特...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：汽车软件爱沙尼亚合股公司，
类型：发明
国别省市：