用于确定车辆的地理位置和朝向的方法和设备技术

在根据本发明专利技术的用于确定车辆的地理位置和朝向的方法中，利用车辆的至少一个摄像机检测（1）车辆周围环境的图像，其中所检测的图像至少部分地包括车辆周围环境在地平面上的区域。针对所检测的图像的各个像素分别生成（2）分类信息，该分类信息指明与多个预先给定的对象类别之一的关联，其中基于该关联来进行（3）图像的语义分割。基于图像的语义分割来探测（4）地面纹理过渡。将所探测到的地面纹理过渡投影（6）到车辆周围环境的地平面上。将被投影到车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化（7、8、9）。基于被最小化的偏差来输出（10）车辆在空间内的当前位置和朝向。

Methods and equipment for determining the geographical location and orientation of vehicles

【技术实现步骤摘要】
用于确定车辆的地理位置和朝向的方法和设备
本专利技术涉及一种用于确定车辆的地理位置和朝向的方法，该方法尤其可以被用于自动或部分自动驾驶的车辆的自定位。本专利技术还涉及一种用于执行所述方法的设备以及一种车辆，所述车辆被设立为执行这种方法或具有这种设备。
技术介绍
精确且鲁棒的自定位是车辆在道路交通中进行自动驾驶的前提之一。全球卫星导航系统（诸如GPS系统）广泛用于汽车领域的位置确定和导航。但是，除了在恶劣的接收条件下（例如在市区或在下大雪的情况下）带来的困难之外，精度也不足以用于与安全相关的应用。虽然通过诸如DGPS那样的方法可以显著改善基于GPS定位的精度，在DGPS中通常经由无线电将校正信号传送到DGPS接收器。但是，通过这种方式也仍然不可能进行安全的自动驾驶。这样，一方面基于无线电的系统可能由于无线电干扰而失灵，或者由于加密、有可能甚至未预先告知的加密而无法被操作人员分析，从而于是不可能以足够的精度来进行可靠的位置测量。此外，在卫星辅助的位置确定中，至少在不添加其它传感器数据的情况下，不存在关于车辆的取向或朝向的信息。该信息只能通过对过往的、连续的位置进行求差来间接计算。为了在进行位置确定时也确定车辆的朝向，已知不同的解决方案，在这些解决方案中，以传感器技术方式来检测车辆周围环境，例如利用摄像机或LIDAR（英语“lightdetectionandranging”的缩写：光探测和测距（激光雷达））传感器来检测车辆周围环境。这样，可以借助于经由特定地标的基于摄像机的定位来确定在地图平面内的2D坐标以及也确定车辆在该平面内的朝向，这些地标被录入在数字地图中并且在摄像机图像中被探测到。但是，这要求：必须在数字地图中录入足够数量的合适的地标，这些地标即使在任何季节的任何天气下也都可以被探测到。同样存在用于基于激光雷达的定位的方案。无论车辆周围环境中的照明条件如何，LIDAR传感器都为所检测到的对象提供具有厘米级精度3D空间坐标的点云。结合由3D点组成的数字地图，可以将这些测量点用于位置确定。在此，为了定位所述车辆，将当前测量的激光雷达（Lidar）点云匹配到数字地图中，也就是说，与该地图中的3D点尽可能精确地达成一致。但是，这种基于激光雷达的定位的缺点在于：为此所需的精确3D地图的构建花费很高。在WO2018/140701A1中描述了基于对地标的检测来进行的基于激光雷达的定位。在这种情况下，附加地将摄像机的数据与3D点关联。在US2017/0248963A1和US2018/0136644A1中也集中地收集不同传感器的数据，以执行针对自动驾驶车辆的道路规划。在此，也使用定位器，该定位器分析不同传感器的数据并通过将传感器数据与地图数据进行比较来确定自动车辆的姿态。此外，WO2018/104563A2公开了：为了确定车辆的位置和朝向而利用一个或多个摄像机来检测车辆周围环境。在这种情况下，为了找到可通过与参考地图进行比较而被用于定位的地标所在的区域，对利用摄像机所检测到的图像执行语义分割。在此，对于诸如建筑物或交通标志那样的对象类别来说，结合深度测量来生成3D地标。也提出了通过多个帧对这种地标的跟踪。
技术实现思路
本专利技术的任务是：提供一种用于确定车辆的地理位置和朝向的经改善的方法和经改善的设备。该任务通过具有权利要求1的特征的方法以及通过相对应的根据权利要求12所述的设备来解决。本专利技术的优选的设计方案是从属权利要求的主题。在根据本专利技术的用于确定车辆的地理位置和朝向的方法中，-利用所述车辆的至少一个摄像机来检测车辆周围环境的图像，其中所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；-针对所检测的图像的各个像素分别生成分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，其中基于所述关联来进行所述图像的语义分割；-基于所述图像的语义分割来探测地面纹理过渡；-将所探测到的地面纹理过渡投影到所述车辆周围环境的地平面上；-将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化；以及-基于被最小化的偏差来输出所述车辆在空间内的当前位置和朝向。通过这种方式，花费微小地进行6D定位，即确定三维空间中的六个自由度（英语：“sixdegreesoffreedom”，六个自由度，6DoF）。因此，对所述车辆来说不仅检测当前的空间坐标而且检测左转或右转（偏航）、侧向倾斜（翻滚）或者向前或向后倾斜（俯仰）。由于对于6D定位来说仅使用地面纹理过渡并且借此并不需要深度信息，所以无需检测或跟踪具有3D位置的地标。此外，所使用的参考地图不必包含用于地标的3D信息。借此，与已知方法相比，显著降低了在计算时间和存储器需求方面的要求。根据本专利技术的一个实施方式，在这种情况下，从对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准出发，确定在所探测到的地面纹理过渡与在所述全局参考地图中针对所估计的位置和朝向的地面纹理过渡之间的初始变换参数。基于所述变换参数，将所探测到的地面纹理过渡投影到所述车辆周围环境的地平面上。为此，计算针对所述偏差的优化度量并将其与针对可接受偏差的阈值进行比较。如果不低于所述阈值，则更改所述变换参数，并且迭代地继续进行该过程，直到低于所述阈值为止。优选地，在这种情况下，基于对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准，从具有地面纹理过渡的所述全局参考地图中选择部分片段，并且将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图的所选择的部分片段中的地面纹理过渡之间的偏差最小化。在这种情况下，可以借助于卫星导航来确定对所述当前位置的估计并且借助于电子罗盘来确定所述车辆的朝向。替代地或附加地，可以借助于里程计测量方法基于所述车辆的已知的先前位置和朝向来确定对所述车辆的当前位置和朝向的估计。在这种情况下，所述地面纹理过渡尤其可以基于所述车辆周围环境在地平面上的不同区域的不同表面质地。此外，所述全局参考地图有利地从鸟瞰图中再现了街道和与街道相邻的地理细节的概括表示。根据本专利技术的一个实施方式，所述概括表示以距离场的形式来设计，所述距离场分别针对参考地图的第一对象类别的点指明到最接近的第二对象类别的点的距离。根据本专利技术的另一实施方式，在这种情况下，视所述车辆周围环境的相邻区域的对象类别而定，设置多种不同类型的地面纹理过渡，其中针对不同类型的地面纹理过渡分别单独地将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图中的地面纹理过渡之间的偏差最小化，并且将得到的结果组合起来以确定用于所述车辆的当前位置和朝向的参数。根据本专利技术的另一实施方式，在所述地面纹理过渡的区域中，附加地针对利用所述至少一个摄像机所检测的图像的像素以传感器技术方式来检测高度信息，其中对于所述全局参考地图的各个点来说同样存在高度信息，而且其中使所检测的图像的像素和所述全局参考地图的点尽本文档来自技高网...

【技术保护点】
1.一种用于确定车辆的地理位置和朝向的方法，其中/n- 利用所述车辆的至少一个摄像机来检测（1）车辆周围环境的图像，其中所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；/n- 针对所检测的图像的各个像素分别生成（2）分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，并且基于所述关联来进行（3）所述图像的语义分割；/n- 基于所述图像的语义分割来探测（4）地面纹理过渡；/n- 将所探测到的地面纹理过渡投影（6）到所述车辆周围环境的地平面上；/n- 将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化（7、8、9）；以及/n- 基于被最小化的偏差来输出（10）所述车辆在空间内的当前位置和朝向。/n

【技术特征摘要】
20190426 DE 102019206036.61.一种用于确定车辆的地理位置和朝向的方法，其中
-利用所述车辆的至少一个摄像机来检测（1）车辆周围环境的图像，其中所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；
-针对所检测的图像的各个像素分别生成（2）分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，并且基于所述关联来进行（3）所述图像的语义分割；
-基于所述图像的语义分割来探测（4）地面纹理过渡；
-将所探测到的地面纹理过渡投影（6）到所述车辆周围环境的地平面上；
-将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化（7、8、9）；以及
-基于被最小化的偏差来输出（10）所述车辆在空间内的当前位置和朝向。


2.根据权利要求1所述的方法，其中，从对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准出发，确定（5）在所探测到的地面纹理过渡与在所述全局参考地图中针对所估计的位置和朝向的地面纹理过渡之间的初始变换参数；基于所述变换参数将所探测到的地面纹理过渡投影（56）到所述车辆周围环境的地平面上；为此计算（7）针对所述偏差的优化度量并将所述优化度量与针对可接受偏差的阈值进行比较（8），如果不低于所述阈值，则更改（9）所述变换参数，并且迭代地继续进行该过程，直到低于所述阈值为止。


3.根据权利要求2所述的方法，其中，基于对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准，从具有地面纹理过渡的所述全局参考地图中选择部分片段，并且将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图的所选择的部分片段中的地面纹理过渡之间的偏差最小化（6、7、8）。


4.根据权利要求3所述的方法，其中，借助于卫星导航来确定对所述当前位置的估计并且借助于电子罗盘来确定所述车辆的朝向。


5.根据权利要求3或4所述的方法，其中，借助于里程计测量方法基于所述车辆的已知的先前位置和朝向来确定对所述车辆的当前位置和朝向的估计。


6.根据前述权利要求中任一项所述的方法，其中，所述地面纹理过渡基于所述车辆周围环境在地平面上的不同区域的不同表面质地。


7.根据前述权利要求中任一项所述的方法，其中，所述全局参考地图从鸟瞰图中再现了街道和与所述...

【专利技术属性】
技术研发人员：VP肖梅鲁斯，
申请(专利权)人：大众汽车有限公司，
类型：发明
国别省市：德国;DE