用于评估车辆环境中的光学呈现图的方法以及车辆技术

本发明专利技术涉及一种用于评估车辆环境中的光学呈现图的方法(100)以及车辆。所述方法包括：提供车辆环境的拍摄图像(10)以及从拍摄图像(10)中提取特征(20)。方法还包括：进行对拍摄图像(10)的第一分析(31)。此外，还进行对拍摄图像(10)的第二分析(32)，其中，识别一个或多个对象的边缘(91‑95)，其中，彼此独立地进行第一分析(31)和第二分析(32)，其中，通过在第一分析结果(41)中的被识别的对象的面(81、82、83)上裁剪第二分析结果(41)中的被识别的边缘(91‑95)，将第一分析结果(41)与第二分析结果(42)组合成输出图像(50)。

Methods used to evaluate the optical presentation in the vehicle environment and the vehicle

【技术实现步骤摘要】
【国外来华专利技术】用于评估车辆环境中的光学呈现图的方法以及车辆
本专利技术涉及自动化
，本专利技术尤其是涉及一种用于评估车辆环境中的光学呈现图/光学外观的方法以及一种车辆。
技术介绍
专利文献DE102015007145A1描述了一种用于自动评估行驶路线的方法，在其中，在主观情绪上的吸引力标准方面评估行驶路程的光学呈现图。从所收集的拍摄视频中通过机器学习尤其是借助于深度神经网络自动地对于视频信号中的每个图像提取出用于吸引力标准的值，例如地理名胜、建筑名胜、僻静处。从专利文献US6141433A中已知用于为视频帧的如下区域从视频帧中提取图像信息的系统和方法，所述区域预测为场景中令人感兴趣的对象。从专利文献US2013/0083968A1中已知一种车辆周边监控装置，其在使用车辆内部的摄像机的情况下探测位于车辆之外的对象。从专利文献US2009/0169052A1中已知用于根据所拍摄的图像探测周边对象的对象探测设备。从专利文献US2014/0010408A1中已知附着在透镜上的物质的探测器，该探测器探测附着在摄像机的透镜上的物质。此外，对在车辆环境中的对象的自动识别是车辆巡航和自动行驶的前提。由摄像机提供图像数据或数据流，其在车辆内或在车辆外的外部评估单元中进行评估。评估尽可能实时地进行，以便车辆能对相应的交通情况做出反应。在分析拍摄图像时，处理所谓的对象类型，其中，为不同的对象配给自己的对象类型。因此，在图像处理时使用例如“机动车”、“商用车”、“自行车”、“行人”、“道路”以及“其它障碍”这些对象类型。为了在图像数据中识别对象类型，目前使用语义分割方法或对象识别方法。在语义分割方法中，为图像中的每个像素分配一个对象类型。由此，在图像中产生在对象类型之间的精确的空间划分。语义分割的缺点是，仅能识别与对象类型相应的图像区域，然而不能将单个对象彼此分开地区分出。当在拍摄图像中同一对象类型的对象彼此邻接时，情况尤其如此。在对象识别方法中，直接在对象的相应位置上识别拍摄图像中的对象。对象识别的缺点是，分别针对矩形的图像区域进行识别。因此，不能进行准确的空间分配，尤其是在立体视图中的“悬挂的”对象或重叠的对象以及复杂轮廓的情况下。在其中不仅可明确识别对象而且可识别分界面(也就是说可识别对象及其准确的轮廓)的方法被称为“实例分割”。至今已知的实例分割方法常常通过复杂的且计算量大的不同方法的组合、例如通过用于对象识别的深度神经网络和用于语义分割的深度神经网络的组合来实现。对此的示例是所谓的“深度分水岭变换”、“通过多任务网络级联实现的实例感知语义分割”以及其它复杂的且计算量大的方法。由于在该方法中对算力的高要求，难以实现在车辆中的例如用于驾驶员辅助系统和自动行驶的应用，尤其是因为需要满足实时性要求和必须处理多个摄像机数据流。此外，由于其复杂性，至今已知的方法也不太灵活并且易于出错。
技术实现思路
因此，本专利技术的目的是克服现有缺点，尤其是应提供改善的用于实例分割的方法。该目的通过根据权利要求1所述的本专利技术方法和根据权利要求10所述的车辆来实现。从从属权利要求中得到其它设计方案。提出一种根据本专利技术的用于评估车辆环境中的光学呈现图的方法。该方法包括以下步骤：提供车辆环境的拍摄图像以及从拍摄图像中提取特征。此外，该方法还包括：进行对拍摄图像的第一分析，其中，一个或多个对象被识别成面，该分析的结果作为第一分析结果被提供。此外，该方法包括：进行对拍摄图像的第二分析，其中，识别一个或多个对象的边缘，该分析的结果作为第二分析结果被提供。在此规定，可彼此独立地进行第一分析和第二分析。此外，该方法包括：通过在来自第一分析结果中的被识别的对象的面上裁剪来自第二分析结果中的被识别的边缘，将第一分析结果与第二分析结果相组合。所使用的拍摄图像可利用安装在车辆中或车辆上的摄像机拍摄。在此，拍摄图像可为例如连续地作为视频数据被拍摄的图像序列的单个图像。在所提出的方法中，也可行的是，并行地分析多个拍摄图像，例如在检测到车辆上或车辆中的多个摄像机的多次同时拍摄时。相应地，提供分别分配给摄像机的分析装置。所提供的拍摄图像提供被分析的图像数据。拍摄图像的特征提取例如包括将图像数据分成多个卷积层。在所提出的方法中，第一分析可实施为利用第一分析装置进行的语义分割。第二分析可作为边缘识别利用第二分析装置来进行。第一分析与第二分析的组合可理解成实例分割，在实例分割中，识别对象及其轮廓，其中，可相互区分出彼此邻接的对象(车辆、行人、自行车骑行者、道路标志等)。这些对象以所谓的对象类型来定义，并且可用作分析拍摄图像的训练数据。总地来说，在拍摄图像上识别出封闭的面，并且将封闭的面分配给单个对象。由此，通过所提出的方法实现，彼此邻接的、相同对象类型的对象也能彼此区分，例如区分出在拍摄图像中在二维视图中部分重叠的两个先后行驶的车辆。在所述方法的一种优选的实施例中，可规定，第一分析和第二分析在共同的深度神经网络中进行。因此，提出一种用于产生用于实例分割的唯一一个/仅一个深度神经网络的方法。该实施方式具有的优点是，不必将不同的神经网络相互协调，因为使用一个共同的网络。在此，该神经网络可具有编码器和解码器，其中，解码器具用于语义分割的第一分路和用于边缘识别的第二分路。从图像分析中提取特征的卷积层可在“卷积神经网络”(CNN)或“褶积神经网络”中提供。卷积神经网络是人工神经网络，其可用于图案和图像识别。相应地，所使用的编码器和所使用的解码器可理解成卷积编码器和卷积解码器。在方法的另一设计方案中可规定，第一分析以第一训练数据为基础并且第一训练数据具有类型分类。分类或标签理解成在机器学习中训练数据的类型归属。因此，类型分类或类型标签理解成可用于第一分析的被储存的训练数据。在该方法的另一实施例中可规定，第二分析以第二训练数据为基础，并且第二训练数据具有轮廓分类。轮廓分类或轮廓标签理解成可作为被储存的训练数据用于第二分析的数据。此外，有利地可规定，第一分析装置和第二分析装置是分成两条分路的解码器的一部分。解码器或译码器理解成能处理数据以将其解密或解码的装置。在本方法中，利用解码器将第一分析和第二分析的分析数据相组合，以获得总分析结果。总分析结果在此是在车辆环境中的被分析的拍摄图像，在其中，尤其是当对象在拍摄图像中彼此交叠或彼此邻接时，可将单个对象彼此区分开。在另一实施方式中，可规定，第一分析和第二分析可时间上并行地进行。这导致特别快速的图像数据处理以及尽可能短的反应时间，这尤其是在车辆自动行驶中是有利的。在方法的另一设计方案中，可规定，通过第一分析结果与第二分析结果相组合，提供一个封闭的面或多个封闭的面，其中，每个封闭的面代表一个对象。因此，有利地可自动识别每个单个对象。有利地，封闭的面可视化地提供给导航系统和/或用于后续处理。在所述方法的另一设计方案中，可规定，为每个封闭的面分配单义的/唯一的标识。例本文档来自技高网...

【技术保护点】
1.一种用于评估车辆环境中的光学呈现图的方法(100)，所述方法包括：/n提供车辆环境的拍摄图像(10)；/n从所述拍摄图像(10)中提取特征(20)；/n进行对所述拍摄图像(10)的第一分析(31)，其中，将一个或多个对象识别成面(81、82、83)，并将该分析的结果提供为第一分析结果(41)；/n进行对所述拍摄图像(10)的第二分析(32)，其中，识别一个或多个对象的边缘(91-95)，并将该分析的结果提供为第二分析结果(42)，/n其中，彼此独立地进行所述第一分析(31)和所述第二分析(32)；以及/n将所述第一分析结果(41)与所述第二分析结果(42)组合成输出图像(50)，其方式为：在第一分析结果(41)中的所识别的对象的面(81、82、83)上裁剪出第二分析结果(41)中的所识别的边缘(91-95)。/n

【技术特征摘要】
【国外来华专利技术】20170907 DE 102017215718.61.一种用于评估车辆环境中的光学呈现图的方法(100)，所述方法包括：
提供车辆环境的拍摄图像(10)；
从所述拍摄图像(10)中提取特征(20)；
进行对所述拍摄图像(10)的第一分析(31)，其中，将一个或多个对象识别成面(81、82、83)，并将该分析的结果提供为第一分析结果(41)；
进行对所述拍摄图像(10)的第二分析(32)，其中，识别一个或多个对象的边缘(91-95)，并将该分析的结果提供为第二分析结果(42)，
其中，彼此独立地进行所述第一分析(31)和所述第二分析(32)；以及
将所述第一分析结果(41)与所述第二分析结果(42)组合成输出图像(50)，其方式为：在第一分析结果(41)中的所识别的对象的面(81、82、83)上裁剪出第二分析结果(41)中的所识别的边缘(91-95)。


2.根据权利要求1所述的方法(100)，其中，在共同的深度神经网络中进行所述第一分析和所述第二分析。


3.根据权利要求1或权利要求2所述的方法(100)，其中，所述第一分析(31)以第一训练数据为基础，所述第一训练数据具有类型分类(33)。


4.根据权利要...

【专利技术属性】
技术研发人员：F·弗莱德曼，O·沃洛别夫，
申请(专利权)人：奥迪股份公司，
类型：发明
国别省市：德国;DE