一种基于地空交叉视角视觉里程计的定位方法技术

本发明专利技术公开了一种基于地空交叉视角视觉里程计的定位方法，本发明专利技术通过判断地空视角定位网络输出的概率图的数学特征判断定位精度，作为其是否与内部里程计融合的条件，可以将不准确的地空教程定位结果剔除，将精度较高的定位结果和内部里程计融合，以获得更高的精度；本发明专利技术使用地面全景图像和离线获取的的空中视角图像进行匹配定位，可以在GNSS信号受干扰的条件下提供全局定位信息；本发明专利技术使用地空交叉视角定位和里程计融合，消除内部里程计长期运行带来的累积误差，提高定位精度。提高定位精度。提高定位精度。

【技术实现步骤摘要】
一种基于地空交叉视角视觉里程计的定位方法


[0001]本专利技术属于同时定位和建图定位
，具体涉及一种基于地空交叉视角视觉里程计的定位方法。

技术介绍

[0002]道路提取旨在从空中视角图像中提取道路网络。一些方法通过道路特征检测道路，例如线条、边缘、纹理。然而，由于光照、阴影和遮挡，道路并非在所有情况下都具有一般特征。人工描述的特征很难描述道路。随着神经网络技术的快速发展，越来越多的研究使用神经网络来提取特征。
[0003]地空交叉视角图像度量定位是将确定地面视角图像在空中视角图像中的位置这一任务视为图像回归问题。一般来说，车辆的大致位置可以由其他设备给出，例如IMU、里程计等，车辆只需要通过一张地面视角图像在小范围地理位置内获得准确的位置。因此，可以将确定地面视角图像在空中视角图像中的位置这一任务视为图像回归问题：大致位置的空中视角图像可以由其他不准确的设备确定，而全景图像可以由车辆上的全景相机给出，接着使用神经网络从空中视角图像中预测地景图像的位置。
[0004]地面无人平台视觉里程计通过地面无人平台自身携带的相机，以及IMU、轮速计等其他传感器，对周围环境进行观测，从而测得地面无人平台自身的位置。通常视觉里程计在小范围内较为准确，随着地面无人平台的运动，其测量误差会累积，使得其无法长时间使用。另外，视觉里程计在高动态的场景中容易失效，从而无法继续估计位姿。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提供一种基于地空交叉视角视觉里程计的定位方法，可以提高定位精度。
[0006]一种基于地空交叉视角视觉里程计的定位方法，包括：
[0007]步骤S1、获取空中视角图像、地面视角图像及其相应的道路网络真值，建立图像训练集；
[0008]步骤S2、提供地面视角图像以及在地面视角图像位置的空中视角图像，以及空中视角图像对应的路网图像，一并输入地空交叉视角定位网络中，并建立损失函数，反向传播优化网络参数以实现训练；
[0009]其中，地空交叉视角定位网络包括孪生网络、交叉激励模块、特征图融合模块、概率图估计模块以及道路提取辅助训练模块；
[0010]孪生网络是指两个结构相同的网络，分为空中视角图像孪生网络分支和地面视角图像孪生网络分支；孪生网络的2个分支使用的都是ResNet34网络；
[0011]空中视角图像孪生网络分支输入图像为空中视角图像；ResNet34有4层：第1层有3个残差块，输出特征图a
11
；第2层有3个残差块，输出特征图a
21
；第3层有6个残差块，输出特征图a
31
；第4层有3个残差块，输出空中特征图a
41
；空中视角图像孪生网络分支的第2层输出
的特征图a
21
送入给道路提取辅助训练模块；
[0012]地面视角图像孪生网络分支采用同样的结构，输入为地面全景图像；每一层的输出特征图为a
12
、a
22
、a
32
、a
42
；
[0013]在所述交叉激励模块中，经孪生网络主干输出的空中特征图a
41
和地面特征图a
42
分别经过特征激励层，得到空中激励向量b1和地面激励向量b2；再将空中激励向量b1与地面特征图a
42
按通道相乘，将地面激励向量b2与空中特征图a
41
按通道相乘，分别对应得到激励后空中特征图c1和激励后地面特征图c2；
[0014]在特征图融合模块中，将激励后空中特征图c1依次经过3
×
3卷积、归一化层、激活函数，得到卷积后空中特征图d1；将激励后地面特征图c2依次经过3
×
3卷积和激活函数，得到卷积后地面特征图d2；将卷积后空中的特征图d1和卷积后地面的特征图d2按的每个通道展开成256
×
1的矩阵；将每个向量按对应通道进行矩阵乘法，得到融合后的特征图e；
[0015]对融合后的特征图e，先经过大小3
×
3为，步长为2的卷积块得到特征图f；
[0016]在概率图估计模块中，特征图f经过反卷积网络，得到概率图g0，具体为：反卷积网络由3个反卷积块组成；反卷积块由1
×
1卷积块、反卷积、1
×
1卷积块连接而成；特征图f与空中视角图像孪生网络分支的第2层残差块输出的特征图a
21
拼接，经过第1个反卷积模块，得到特征图g2；特征图g2与空中视角图像孪生网络分支的第1层残差块输出的特征图a
11
拼接，经过第2个反卷积模块，得到特征图g1；特征图g1经过第3个反卷积模块得到概率图g0；
[0017]道路提取辅助训练模块是由反卷积模块组成，使用特征图f与空中图像孪生网络的支干网络输出a
21
进行按通道拼接，得到特征图h3；使用3个反卷积块将特征图h3上采样到大小为32
×
512
×
512的特征图h1；最后，使用3
×
3卷积层和sigmoid激活函数，得到空中视角图像视角的道路图像掩码图像h0；
[0018]步骤S3、在初始位姿已知的定位任务中，无人平台通过内部里程计进行定位；在运行的过程中，通过鱼眼相机或环视相机获得地面平台估计的当前位置的全景图像，并得到地面视角图像；根据本里程计估计出的前一时刻位姿，获得空中视角图像：
[0019]步骤S4、将空中视角图像同地面视角图像输入训练好的地空交叉视角定位网络中，得到估计的概率图g0；
[0020]步骤S5、计算概率图g0的数学特征，根据其数学特征判断是否使用地空交叉视角修正内部里程计，如果是，执行步骤6；
[0021]步骤S6、将地空交叉视角定位与内部里程计的位姿图中进行联合优化，获取定位后的结果。
[0022]较佳的，所述损失函数为：
[0023]loss＝L
headmap
+
BCE
；
[0024]其中：
[0025][0026]其中，代表网络输出的概率图g0每个像素的值，x代表概率图g0对应的真值图中每个像素值，N代表概率图像素的数量，α,β为参数；
[0027][0028]其中，y分别表示道路图像掩码图像h0中的每个像素的真值，分别表示整个图像中每个像素预测值，N代表概率图像素的数量。
[0029]较佳的，所述步骤S5中，设概率图g0的矩阵表示为H，其高为h，宽为w，对其中任一点(,y)∈H，有0≤H(x,y)≤1；设概率图g0像素值的和为
[0030]概率图g0在x和y两个方向的均值为：
[0031][0032][0033]概率图g0的协方差矩阵S为：
[0034][0035]设P(x,y)为均值方差为S的正态分布，Q(x,y)为H(x,y)归一化后的分布，<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于地空交叉视角视觉里程计的定位方法，其特征在于，包括：步骤S1、获取空中视角图像、地面视角图像及其相应的道路网络真值，建立图像训练集；步骤S2、提供地面视角图像以及在地面视角图像位置的空中视角图像，以及空中视角图像对应的路网图像，一并输入地空交叉视角定位网络中，并建立损失函数，反向传播优化网络参数以实现训练；其中，地空交叉视角定位网络包括孪生网络、交叉激励模块、特征图融合模块、概率图估计模块以及道路提取辅助训练模块；孪生网络是指两个结构相同的网络，分为空中视角图像孪生网络分支和地面视角图像孪生网络分支；孪生网络的2个分支使用的都是ResNet34网络；空中视角图像孪生网络分支输入图像为空中视角图像；ResNet34有4层：第1层有3个残差块，输出特征图a
11
；第2层有3个残差块，输出特征图a
21
；第3层有6个残差块，输出特征图a
31
；第4层有3个残差块，输出空中特征图a
41
；空中视角图像孪生网络分支的第2层输出的特征图a
21
送入给道路提取辅助训练模块；地面视角图像孪生网络分支采用同样的结构，输入为地面全景图像；每一层的输出特征图为a
12
、a
22
、a
32
、a
42
；在所述交叉激励模块中，经孪生网络主干输出的空中特征图a
41
和地面特征图a
42
分别经过特征激励层，得到空中激励向量b1和地面激励向量b2；再将空中激励向量b1与地面特征图a
42
按通道相乘，将地面激励向量b2与空中特征图a
41
按通道相乘，分别对应得到激励后空中特征图c1和激励后地面特征图c2；在特征图融合模块中，将激励后空中特征图c1依次经过3
×
3卷积、归一化层、激活函数，得到卷积后空中特征图d1；将激励后地面特征图c2依次经过3
×
3卷积和激活函数，得到卷积后地面特征图d2；将卷积后空中的特征图d1和卷积后地面的特征图d2按的每个通道展开成256
×
1的矩阵；将每个向量按对应通道进行矩阵乘法，得到融合后的特征图e；对融合后的特征图e，先经过大小3
×
3为，步长为2的卷积块得到特征图f；在概率图估计模块中，特征图f经过反卷积网络，得到概率图g0，具体为：反卷积网络由3个反卷积块组成；反卷积块由1
×
1卷积块、反卷积、1
×
1卷积块连接而成；特征图f与空中视角图像孪生网络分支的第2层残差块输出的特征图a
21
拼接，经过第1个反卷积模块，得到特征图g2；特征图g2与空中视角图像孪生网络分支的第1层残差块输出的特征图a
11
拼接，经过第2个反卷积模块，得到特征图g1；特征图g1经过第3个反卷积模块得到概率图g0；道路提取辅助训练模块是由反卷积模块组成，使用特征图f与空中图像孪生网络的支干网络输出a
21
进行按通道拼接，得到特征图h3；使用3个反卷积块将特征图h3上采样到大小为32
×
512
×
512的特征图h1；最后，使用3
×
3卷积层和sigmoid激活函数，得到空中视角图像视角的道路图像掩码图像h0；步骤S3、在初始位姿已知的定位任务中，无人平台通过内部里程计进行定位；在运行的过程中，通过鱼眼相机或环视相机获得地面平台估计的当前位置的全景图像，并得到地面视角图像；根据本里程计估计出的前一时刻位姿，获得空中视角图像：步骤S4、将空中视角图像同地面视角图像输入训练好的地空交叉视角定位网络中，得到估计的概率图g0；
步骤S5、计算概率图g0的数学特征，根据其数学特征判断是否使用地空交叉视角修正内部里程计，如果是，执行步骤6；步骤S6、将地空交叉视角定位与内部里程计的位姿图中进行联合优化，获取定位后的结果。2.如权利要求1所述的一种基于地空交叉视角视觉里程计的定位方法，其特征在于，所述...

【专利技术属性】
技术研发人员：杨毅，侯宇轩，禹竞，潘淼鑫，张昱潇，王涛，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：