用于确定至少部分自动化的移动平台的定位姿态的方法技术

提出一种用于确定至少部分自动化的移动平台的定位姿态的方法，其中，该移动平台设置用于生成移动平台的周围环境的地面图像，并且设置用于从航拍图像系统接收移动平台的周围环境的航拍图像，该方法具有以下步骤：提供(S1)移动平台的周围环境的数字地面图像；接收(S2)移动平台的周围环境的航拍图像；借助经训练的神经卷积网络来生成(S3)移动平台的定位姿态，该神经卷积网络具有第一经训练的神经编码卷积网络部分和第二经训练的神经编码卷积网络部分。

【技术实现步骤摘要】
用于确定至少部分自动化的移动平台的定位姿态的方法
本专利技术涉及一种用于借助移动平台的周围环境的航拍图像和地面图像来确定至少部分自动化的移动平台的定位姿态的方法。
技术介绍
精确的定位是驾驶至少部分自动化的平台(例如自主运行的车辆)的前提条件。为了借助移动平台的周围环境的地面图像对这种移动平台进行定位，已经采取了多种不同方案，这些方案在移动平台的周围环境方面通常是基于特征的，其中，然后通过高分辨率地图将这些特征分配给移动平台的姿态。
技术实现思路
但是，这种高分辨率地图的使用存在经济上的缺点。相比之下，用于借助基于地面图像的回归来确定姿态的基于深度学习的方法具有相应地图的确定大小和恒定询问时间的优点。借助来自直接摄像机位置的单目图像、视频图像序列和深度图像，可以借助这种方法确定定位。在此，在非常大的地理区域中(例如在较大的城市区域中)的定位在这种神经网络的容量方面、在可缩放性方面面临挑战。本专利技术公开一种用于确定至少部分自动化的移动平台的定位姿态的方法、一种用于生成用于确定定位姿态的经训练的神经卷积网络的方法、一种用于操控移动平台的方法、一种计算机程序以及一种机器可读的存储介质。有利构型在说明书中描述。本专利技术基于以下认知：可以借助以移动平台的估计位置为中心的航拍图像来使用移动平台的周围环境的空间上下文和视角，以便结合地面图像来训练神经网络和确定移动平台的姿态。这尤其使得能够在较大的地理区域上正确地分配地面图像中的不唯一明确的特征。根据一个方面，提出一种用于确定至少部分自动化的移动平台的定位姿态的方法，其中，该移动平台设置用于生成该移动平台的周围环境的地面图像，并且设置用于从航拍图像系统接收该移动平台的周围环境的航拍图像。在该方法的一个步骤中，提供移动平台的周围环境的数字地面图像。在另一步骤中，接收移动平台的周围环境的航拍图像。在另一步骤中，借助经训练的神经卷积网络来生成移动平台的定位姿态，其中，该神经卷积网络具有第一经训练的神经编码卷积网络部分和第二经训练的神经编码卷积网络部分。借助该方法，可以有利地借助移动平台的周围环境的视觉地面图像和视觉航拍图像来确定定位姿态，而无需使用高分辨率的地图。因此，为了训练神经卷积网络，使用航拍图像来预确定移动平台的姿态。由于该方法不基于手工制造的特征，因此可以在较大的地理区域方面良好地缩放。借助这种基于经训练的神经卷积网络的方法，可以从较大的空间上下文(例如从航拍图像结合地面图像)学习特征，以便在城市尺度上准确地确定移动平台的姿态。在此，航拍图像可以以卫星图像的形式存在，并且地面图像可以由移动平台借助数字摄像机系统生成。神经卷积网络基本上具有交替重复的过滤器(ConvolutionalLayer，卷积层)和聚合层(PoolingLayer，池化层)，并且该神经卷积网络可以在网络的端部具有“正常的”完全连接的神经元一个或多个层(Dense/FullyConnectedLayer，稠密层/全连接层)。第一或第二经训练的神经编码卷积网络部分在此可以构型为神经卷积网络的一部分，或者这些网络部分可以分别以单个神经卷积网络的形式实现。地面图像和航拍图像都可以作为来自移动平台的周围环境的不同视角的数字图像存在，并且例如可以借助数字摄像机系统生成。航拍图像在移动平台的周围环境上的视角是俯视图(英语：topdownview)。这种航拍图像例如可以由卫星、飞行器或无人机的摄像机系统生成。在此，这种航拍图像不仅可以是移动平台的周围环境的单个完成的航拍图像，而且例如可以是更大航拍图像的局部视图，其中，该局部视图尤其以移动平台的估计姿态为中心。这种航拍图像尤其可以是卫星图像图块，该卫星图像图块能够针对确定的卫星导航位置(例如GPS位置)被调用。移动平台的定位姿态是如下姿态：以三个空间维度对位置的定义以及移动平台在空间中的定向，该定向例如可以通过由该方法确定的三个欧拉角来说明。移动平台的参考姿态是如下姿态：该姿态例如通过用于确定移动平台的姿态的参考系统为该方法的定位姿态确定的训练提供非常准确的说明。前馈神经网络为多种不同算法提供框架，所述算法用于机器学习、协同工作和对复杂数据输入的处理。这种神经网络学习根据示例来实施任务，而通常无需借助特定于任务的规则进行编程。这种神经网络基于称为人工神经元的连接单元或节点的集合。每个连接都可以将信号从一个人工神经元传输到另一个。接收信号的人工神经元可以对信号进行处理，然后激活与其连接的其他人工神经元。在神经网络的常规实现中，人工神经元连接处的信号是实数，并且人工神经元的输出通过其输入的总和的非线性函数来计算。人工神经元的连接通常具有匹配于学习进程的权重。权重将连接处的信号强度增大或减小。人工神经元可以具有阈值，以便仅在总信号超过该阈值时才输出信号。通常，将多个人工神经元整合在层中。不同的层可能针对其输入执行不同类型的变换。信号从第一层(输入层)——可能在经过多个层之后——传播到最后一层(输出层)。作为以上对前馈神经网络的实施的补充，人工卷积神经网络(英语ConvolutionalNeuralNetwork)的结构还可以包括一个或多个卷积层(英语convolutionallayer，必要时接着的是池化层。层的序列可以在具有或不具有归一化层(例如批归一化)、零填充层、退出层和激活函数(例如线性整流函数(英语RectifiedLinearUnit，ReLU)、tanh函数或softmax函数)的情况下使用。原则上，这些单元可以任意频繁地重复，在足够的重复下就可以涉及深度卷积神经网络。为了训练神经编码解码卷积网络的如此定义的结构，每个神经元例如获得随机初始权重。然后将输入数据输入到网络中，每个神经元以其权重对输入信号进行加权，然后将结果进一步提供给下一层的神经元。在输出层提供结果。可以计算误差的大小以及每个神经元在该误差上的份额，然后可以在使误差最小化的方向上改变每个神经元的权重。然后进行递归运行，重新进行误差测量并且对权重进行匹配，直到误差低于预给定的极限。在本专利技术的整个描述中，方法步骤的序列被示出为使得该方法是易于理解的。然而，本领域技术人员将认识到，也可以以不同的顺序执行所述方法步骤中的多个并且产生相同的结果。在此意义上，方法步骤的顺序可以被相应地改变并且因此也被公开。移动平台可以理解为至少部分自动化的移动式系统和/或车辆的驾驶员辅助系统。一个示例可以是至少部分自动化的车辆或具有驾驶员辅助系统的车辆。也就是说，在这种情况下，至少部分自动化的系统在至少部分自动化的功能方面包括移动平台，但是移动平台还包括车辆和其他包括驾驶员辅助系统的移动机器。移动平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动式多传感器机器人(例如机器人吸尘器或割草机)、多传感器监测系统、生产机器、个人助理、短驳车、自动驾驶出租车、船舶、飞机、商用车或访问控制系统。这些系统中的每个都可以是完全或部分自动化的系统。根据一个方面提出，为了生成定位姿态，在一个步骤中将地面图像作为本文档来自技高网...

【技术保护点】
1.一种用于确定至少部分自动化的移动平台的定位姿态(130)的方法(100)，其中，所述移动平台设置用于生成所述移动平台的周围环境的地面图像(110)，并且所述移动平台设置用于从航拍图像系统接收所述移动平台的周围环境的航拍图像(120)，所述方法具有以下步骤：/n提供(S1)所述移动平台的周围环境的数字地面图像(110)；/n接收(S2)所述移动平台的周围环境的航拍图像(120)；/n借助经训练的神经卷积网络(140)生成(S3)所述移动平台的定位姿态(130)，所述神经卷积网络具有第一经训练的神经编码卷积网络部分(112，114，116)和第二经训练的神经编码卷积网络部分(122，124，126)。/n

【技术特征摘要】
20191002 DE 102019215261.91.一种用于确定至少部分自动化的移动平台的定位姿态(130)的方法(100)，其中，所述移动平台设置用于生成所述移动平台的周围环境的地面图像(110)，并且所述移动平台设置用于从航拍图像系统接收所述移动平台的周围环境的航拍图像(120)，所述方法具有以下步骤：
提供(S1)所述移动平台的周围环境的数字地面图像(110)；
接收(S2)所述移动平台的周围环境的航拍图像(120)；
借助经训练的神经卷积网络(140)生成(S3)所述移动平台的定位姿态(130)，所述神经卷积网络具有第一经训练的神经编码卷积网络部分(112，114，116)和第二经训练的神经编码卷积网络部分(122，124，126)。


2.根据权利要求1所述的方法(100)，其中，所述定位姿态(130)的生成具有以下步骤：
将所述地面图像(110)作为所述第一经训练的神经编码卷积网络部分(112，114，116)的输入信号进行输入(S4)，以便形成第一编码向量(116)；
将所述航拍图像(120)作为所述第二经训练的神经编码卷积网络部分(122，124，126)的输入信号进行输入(S5)，以便形成第二编码向量(126)；
借助所融合的第一编码向量和第二编码向量(116，126)生成(S6)所述移动平台的定位姿态(130)。


3.根据以上权利要求中任一项所述的方法(100)，其中，所述第一经训练的神经编码卷积网络部分(112，114，116)的至少一个层(112)和所述第二经训练的神经编码卷积网络部分(122，124，126)的至少一个相应的层(122)具有相同的权重。


4.根据权利要求2或3所述的方法(100)，其中，将所述第一编码向量(116)和所述第二编码向量(126)融合，其方式是：将所述第一编码向量(116)和所述第二编码向量(126)拼接并且与所述神经卷积网络(140)的融合部分(118)的至少一个输出层完全连接，其中，所述输出层的输出信号说明所述定位姿态(130)。


5.根据以上权利要求中任一项所述的方法(100)，其中，所述移动平台的周围环境的航拍图像(120)已经借助卫星、飞行器或无人机生成。


6.根据以上权利要求中任一项所述的方法(100)，其中，借助所述移动平台的姿态来选择所述航拍图像(120)，所述移动平台的姿态已经借助全球导航系统和/或移动无线电支持的导航系统所确定。


7.根据以上权利要求中任一项所述的方法(100)，其中，所述移动平台的周围环境的地面图像(110)已经借助数字摄像机系统生成。


8.一种用于借助移动平台的周围环境的地面图像(110)和所述移动平台的周围环境的航拍图像(120)来生成经训练的神经卷积网络(140)的方法(200)，所述经训练的神经卷积...

【专利技术属性】
技术研发人员：C·哈斯贝格，P·萨兰里蒂斋，T·纳赛尔，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE