基于地图的用于车辆的自动图像标记制造技术

一种使用自动标记的图像用于导航车辆的方法和系统。该系统包含被配置为捕获道路的图像的相机和通信连接到该相机的电子处理器。电子处理器被配置为加载包含第一多个特征的地图并接收图像。该图像包含第二多个特征。电子处理器还被配置为将地图投影到图像上；检测图像内的第二多个特征；并且通过将第一多个特征与第二多个特征对准，将地图与图像对准。电子处理器还被配置为将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上以创建标记的图像，并且使用标记的图像以辅助车辆的导航。

Map based automatic image marking for vehicles

A method and system for navigating a vehicle using an automatically labeled image. The system comprises a camera configured to capture an image of a road and an electronic processor communicating with the camera. The electronic processor is configured to load a map containing the first plurality of features and receive an image. The image contains a second plurality of features. The electronic processor is also configured to project the map onto the image; detect the second plurality of features in the image; and align the map with the image by aligning the first plurality of features with the second plurality of features. The electronic processor is also configured to copy a marker describing one of the first plurality of features to a corresponding one of the second plurality of features to create an image of the marker, and to use the image of the marker to assist the navigation of the vehicle.

【技术实现步骤摘要】
【国外来华专利技术】基于地图的用于车辆的自动图像标记
技术介绍
高精度地图被用在驾驶辅助系统中，这种高精度地图包含关于位于高精度地图内的对象的信息。这些地图用于弥合最先进的实时车道检测装置与用于半自动驾驶的对象检测可靠性和范围的要求（仅凭现有的车道检测装置通常无法满足这种要求）之间的差距。
技术实现思路
高精度地图提供（除別的以外）信息以辅助执行车辆操纵。特别地，高精度地图提供与对象（诸如，道路、车道标志、和道路基础架构）的定位和特点有关的信息。在一些情形中，高精度地图还通过提供关于与车辆相关的地标和兴趣区的信息来辅助驾驶员。在一些情况下，半自动车辆可至少部分地基于关于高精度地图内的对象位置的信息执行一些导航和操纵。例如，车辆可以使用车道标志以在单个交通车道内行驶、以确定道路上的多个交通车道、以执行车道变换等等。可靠的车道检测对于驾驶员辅助系统、驾驶员安全功能、和全自动车辆的正常功能是必需的。深度学习提供了高度精确的技术，用于训练车辆系统以检测车道标志。然而，深度学习还需要大量标记的数据以适当地训练车辆系统。如下所述，神经网络被训练用于检测相机图像中的车道标志，而无需手动标记任何图像。为实现这一目的，用于自动驾驶的高精度地图被投影到相机图像中，并且车辆系统校正由于定位和坐标系变换不精确而导致的错位。可以通过计算高精度地图内的对象或特征与相机图像中的检测到的对象之间的偏移来执行校正。通过在相机图像中使用对象检测用来细化投影，相机图像内对象的标记可基于像素位置精确地确定。在可选的视觉质量检查后，投影的车道标志用于训练全卷积网络以分割图像中的车道标志。可选的视觉质量检查可以比手动标记单独的图像高得多的速率执行。例如，单个工作人员可以在一天内质量检查20,000个自动生成的标记。因此，可以仅基于自动生成的标记训练卷积网络。此外，对相机图像内对象的检测可以仅基于灰度单目相机输入而无需任何额外信息。由此经训练的神经网络可用100万像素相机在约150米距离处检测车道标志。实施例提供了为相机图像内的对象生成标记的自动系统。在一些实施例中，自动系统至少部分地基于地图数据生成生成识别图像内的车道标志的标记。特别地，一个实施例提供了一种使用自动标记的图像用于车辆的导航方法。该方法包含将包含第一多个特征的地图加载到车辆的电子处理器，并利用车辆的相机捕获包含第二多个特征的图像。该方法还包含将地图投影到图像上；利用电子处理器检测图像内的第二多个特征；通过将第一多个特征与第二多个特征对准而将地图与图像对准。该方法还包含将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上以创建标记的图像，并且使用标记的图像以辅助车辆的导航。另一个实施例提供了一种使用自动标记的图像用于导航车辆的系统。该系统包含被配置为捕获道路的图像的相机和通信地连接到相机的电子处理器。电子处理器被配置为加载包含第一多个特征的地图并接收图像。图像包含第二多个特征。电子处理器还被配置为将地图投影到图像上；检测图像内的第二多个特征；通过将第一多个特征与第二多个特征对准而将地图与图像对准。电子处理器还进一步被配置为将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上以创建标记的图像，并且使用所述标记的图像以辅助车辆的导航。通过考虑具体实施方式和所附附图，其他方面、特征、和实施例将是显而易见的。附图说明图1是根据一个实施例的配备有用于标记相机图像内的对象的自动系统的车辆的框图。图2是根据一个实施例的图1的系统的电子控制单元的框图。图3是根据一个实施例的图1的系统的操作方法的流程图。图4是车道标志和由图1的系统生成的车道标志的定位的初始估计的示例图像。图5是具有车道标志匹配的道路的示例图，该车道标志匹配是图3方法的第一次迭代期间的和图3方法的若干次迭代后的。图6是车道标志和图3的方法在对准和校正之前的车道标志匹配的示例图像。图7是车道标志和在执行图3的方法之后的车道标志匹配的示例图像。具体实施方式在对任何实施例进行详细解释之前，应理解，本专利技术在其应用上不限于如下说明书中陈述的或者如下附图中图示的部件的构造和布置的细节。本专利技术能够具有其它配置并且能够以各种方式施行或者实现。可以使用多个基于硬件和软件的装置，以及多个不同结构的部件来实施各种实施例。此外，实施例可包含硬件、软件、以及电子部件或者模块，出于讨论的目的，这些硬件、软件、以及电子部件或者模块可以被图示和描述为好像这些部件中的大多数独自地在硬件中实施。然而，本领域技术人员，并且基于阅读本具体实施方式，将意识到，在至少一个实施例中，本专利技术基于电子的方面可以在可由一个或更多个处理器执行的软件（例如，储存在非暂时性计算机可读介质上的软件）中实施。例如，本说明书中所描述的“控制单元”和“控制器”可以包含：一个或更多个电子处理器、一个或更多个包含非暂时性计算机可读介质的存储模块、一个或更多个输入/输出接口、一个或更多个应用专用集成电路（ASIC）、以及连接各种部件的各种连接器（例如，系统总线）。图1示出了配备有系统105的车辆100的实施例，该系统105用于根据一个实施例标记相机图像内的对象。车辆100涵盖各种类型和设计，尽管其图示为四轮车辆。例如，车辆100可包含汽车、摩托车、卡车、公共汽车、半拖拉机、及其他。在图示的示例中，系统105包含电子控制单元（ECU）110、至少一个传感器115、地图数据库120、车辆控制系统125、和全球定位系统（GPS）130。这些部件在下文中具体描述。电子控制单元110可经由不同的和各种机制或协议，通信地连接传感器115、地图数据库120、车辆控制系统125、和全球定位系统130。例如，电子控制单元110和传感器115可直接有线连接、通过通信总线有线连接、或无线连接（例如，经由无线网络）。电子控制单元110被配置为，除別的以外，从传感器115接收关于围绕车辆100的区域的信息、从地图数据库120接收具有标记的对象的高精度地图、并且生成用于车辆控制系统125的与导航和操纵相关的请求和信息。特别地，电子控制单元110可以至少部分地基于全球定位系统130确定车辆100的位置或定位。电子控制单元110可经由全球定位系统130获取初始位置，并且然后使用传感器115和检测到的地标来优化或细化位置。传感器115，虽然为简洁起见图示为单个传感器，但是可包含各种类型和方式的传感器。例如，传感器115可包含一个或更多个传感器和传感器阵列，器配置为使用雷达、激光雷达、超声、红外及其他等。传感器115还可包含一个或更多个光学相机。在一些实施例中，传感器115定位为具有包含在车辆100任一侧的车道标志的视野。传感器115被配置为捕获车辆100周围的对象的图像。特别地，传感器115被配置为捕获车辆100周围的车道标志的图像。地图数据库120可以是各种不同类型并使用各种不同技术。在一个示例中，地图数据库120位于车辆100内并且可经由外部通信（例如，经由广域网）更新。在另一示例中，地图数据库1本文档来自技高网...

【技术保护点】
1.一种使用自动标记的图像用于车辆的导航的方法，所述方法包括：/n将包含第一多个特征的地图加载到车辆的电子处理器；/n利用车辆的相机捕获包含第二多个特征的图像；/n将所述地图投影到所述图像上；/n利用电子处理器，检测所述图像内的所述第二多个特征；/n通过将所述第一多个特征与所述第二多个特征对准，将所述地图与所述图像对准；/n将描述所述第一多个特征中的一个的标记复制到所述第二多个特征中对应的一个上以创建标记的图像；并且/n使用标记的图像以辅助车辆的导航。/n

【技术特征摘要】
【国外来华专利技术】20170403 US 15/4779931.一种使用自动标记的图像用于车辆的导航的方法，所述方法包括：
将包含第一多个特征的地图加载到车辆的电子处理器；
利用车辆的相机捕获包含第二多个特征的图像；
将所述地图投影到所述图像上；
利用电子处理器，检测所述图像内的所述第二多个特征；
通过将所述第一多个特征与所述第二多个特征对准，将所述地图与所述图像对准；
将描述所述第一多个特征中的一个的标记复制到所述第二多个特征中对应的一个上以创建标记的图像；并且
使用标记的图像以辅助车辆的导航。


2.根据权利要求1所述的方法，还包括利用标记的图像训练所述电子处理器内的对象检测器。


3.根据权利要求2所述的方法，还包括在训练所述对象检测器之后，利用所述对象检测器检测第二图像内的所述第二多个特征，以创建更新的标记的图像。


4.根据权利要求3所述的方法，还包括基于所述更新的标记的图像校正所述地图与所述第二图像的对准。


5.根据权利要求4所述的方法，还包括利用所述第二图像训练所述电子处理器内的所述对象检测器。


6.根据权利要求1所述的方法，其中所述第一多个特征和所述第二多个特征是车道标志。


7.根据权利要求1所述的方法，其中加载包含所述第一多个特征的地图包含加载导航级地图，所述导航级地图具有在所述导航级地图中识别的道路基础架构。


8.根据权利要求1所述的方法，其中加载包含所述第一多个特征的地图包含从中央数据库接收所述地图。


9.根据权利要求1所述的方法，其中将所述地图加载到所述电子处理器包含从中央服务器下载所述地图。


10.根据权利要求1所述的方法，其中将所述地图加载到所述电子处理器包含基于来自车辆的传感器的输入生成所述地图。


11.一种使用自动标记的图像用于导航车辆的系统...

【专利技术属性】
技术研发人员：K贝伦特，J威特，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE