一种基于环视图像和语义地图的车辆定位方法技术

本发明专利技术实施例涉及一种基于环视图像和语义地图的车辆定位方法，所述方法包括：在时刻t获取当前时刻的行驶速度和行驶加速度；并获取上一时刻t

【技术实现步骤摘要】
一种基于环视图像和语义地图的车辆定位方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于环视图像和语义地图的车辆定位方法。

技术介绍

[0002]自动驾驶系统常规情况下都是通过定位模块(GPS定位模块、北斗定位模块等)获得车辆的定位信息，该定位信息会被其他工作模块(诸如预测模块、规划模块等)用作参考。定位模块输出的定位信息越准确则诸如预测模块、规划模块等其他工作模块输出的预测轨迹准确度就越高。然而在一些特定环境下，例如，在隧道中或在微波信号干扰较强的地区，车辆的定位模块会出现卫星信号接收不良或接收信号质量较差等情况，这时定位模块要么产生较大的输出延时、要么输出的定位信息误差偏大。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于环视图像和语义地图的车辆定位方法、电子设备及计算机可读存储介质；首先基于前一时刻的定位向量(坐标，朝向角)和当前时刻的车辆运动信息(行驶速度、行驶加速度)对当前时刻的车辆定位进行估计得到对应的估计定位向量；然后基于一个定位偏移预测模型，根据当前时刻的环视图像集合和所属路段的语义地图对当前时刻车辆的真实定位与估计定位的偏移进行预测得到对应的定位偏移向量(坐标偏移，朝向角偏移)；再根据估计定位向量和定位偏移向量算出当前时刻车辆的真实定位向量。通过本专利技术，自动驾驶系统就可以在车辆进入隧道或处于微波信号干扰较强地区时采用本专利技术提供的定位处理机制接替定位模块进行实时车辆定位，从而达到保障定位输出的实时性和准确性的目的。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种基于环视图像和语义地图的车辆定位方法，所述方法包括：
[0005]在时刻t获取当前时刻的行驶速度和行驶加速度；并获取上一时刻t
‑
1的车辆定位向量作为对应的前一定位向量P
t
‑1；并获取当前时刻t的第一环视图像集合和第一语义地图；所述前一定位向量P
t
‑1包括前一定位坐标(x
t
‑1,y
t
‑1)和前一朝向角θ
t
‑1；
[0006]根据所述行驶速度、所述行驶加速度、所述前一定位向量P
t
‑1和所述第一语义地图对当前时刻的自车定位进行初步估计生成对应的估计定位向量P
*
；所述估计定位向量P
*
包括估计定位坐标(x
*
,y
*
)和估计朝向角θ
*
；
[0007]将所述第一环视图像集合和所述第一语义地图输入基于环视图像和语义地图的定位偏移预测模型对当前时刻车辆的真实定位与估计定位的偏移进行预测生成对应的定位偏移向量
△
P
t
；所述定位偏移向量
△
P
t
包括定位偏移坐标(
△
x
t
,
△
y
t
)和定位偏移朝向角
△
θ
t
；
[0008]根据所述估计定位向量P
*
和所述定位偏移向量
△
P
t
对当前时刻车辆的真实定位进行计算生成对应的当前定位向量P
t
；所述当前定位向量P
t
包括当前定位坐标(x
t
,y
t
)和当前
朝向角θ
t
，x
t
＝x
*
+
△
x
t
，y
t
＝y
*
+
△
y
t
，θ
t
＝θ
*
+
△
θ
t
。
[0009]优选的，所述第一语义地图包括多个第一地图元素；所述第一地图元素包括第一元素类型、第一元素形状和第一元素标记点序列；所述第一元素标记点序列包括多个第一元素标记点d
i
；所述第一元素标记点d
i
包括第一标记点坐标(x
i
,y
i
)；i≥1；
[0010]所述第一环视图像集合包括多个第一环视图像；
[0011]所述定位偏移预测模型包括BEV特征编码网络、语义地图编码器、跨模态编码网络和位姿解码器；所述BEV特征编码网络包括图像特征提取网络、BEV特征转换网络、残差网络和位置编码器；所述BEV特征转换网络包括透视图编码器和视角转换器；所述跨模态编码网络包括自注意编码器和交叉注意编码器；所述位姿解码器包括第一全连接层、第一最大池化层和第二全连接层；
[0012]所述图像特征提取网络的输出与所述透视图编码器的输入连接；所述透视图编码器的输出与所述视角转换器的输入连接；所述视角转换器的输出与所述残差网络的输入连接；所述残差网络的输出分别与所述位置编码器和所述自注意编码器的输入连接；所述位置编码器的输出分别与所述自注意编码器和所述交叉注意编码器的输入连接；所述语义地图编码器的输出与所述交叉注意编码器的输入连接；所述交叉注意编码器的输出与所述第一全连接层的输入连接；所述第一全连接层的输出与所述第一最大池化层的输入连接；所述第一最大池化层的输出与所述第二全连接层的输入连接；
[0013]所述图像特征提取网络基于EfficientNet实现；所述BEV特征转换网络的所述透视图编码器和所述视角转换器基于HDMapNet的透视图编码器和视角转换器实现；所述位置编码器基于DERT的位置编码方案实现。
[0014]优选的，所述根据所述行驶速度、所述行驶加速度、所述前一定位向量P
t
‑1和所述第一语义地图对当前时刻的自车定位进行初步估计生成对应的估计定位向量P
*
，具体包括：
[0015]根据所述行驶速度、所述行驶加速度、所述前一定位向量P
t
‑1的所述前一定位坐标(x
t
‑1,y
t
‑1)和所述第一语义地图对当前时刻的自车定位坐标进行估计生成对应的所述估计定位坐标(x
*
,y
*
)；
[0016]根据所述前一定位坐标(x
t
‑1,y
t
‑1)、所述估计定位坐标(x
*
,y
*
)和所述前一定位向量P
t
‑1的所述前一朝向角θ
t
‑1对当前时刻的自车定位朝向角进行估计生成对应的所述估计朝向角θ
*
；
[0017]由得到的所述估计定位坐标(x
*
,y
*
)和所述估计朝向角θ
*
组成对应的所述估计定位向量P
*
。
[0018]优选的，所述将所述第一环视图像集合和所述第一语义地图输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于环视图像和语义地图的车辆定位方法，其特征在于，所述方法包括：在时刻t获取当前时刻的行驶速度和行驶加速度；并获取上一时刻t
‑
1的车辆定位向量作为对应的前一定位向量P
t
‑1；并获取当前时刻t的第一环视图像集合和第一语义地图；所述前一定位向量P
t
‑1包括前一定位坐标(x
t
‑1,y
t
‑1)和前一朝向角θ
t
‑1；根据所述行驶速度、所述行驶加速度、所述前一定位向量P
t
‑1和所述第一语义地图对当前时刻的自车定位进行初步估计生成对应的估计定位向量P
*
；所述估计定位向量P
*
包括估计定位坐标(x
*
,y
*
)和估计朝向角θ
*
；将所述第一环视图像集合和所述第一语义地图输入基于环视图像和语义地图的定位偏移预测模型对当前时刻车辆的真实定位与估计定位的偏移进行预测生成对应的定位偏移向量
△
P
t
；所述定位偏移向量
△
P
t
包括定位偏移坐标(
△
x
t
,
△
y
t
)和定位偏移朝向角
△
θ
t
；根据所述估计定位向量P
*
和所述定位偏移向量
△
P
t
对当前时刻车辆的真实定位进行计算生成对应的当前定位向量P
t
；所述当前定位向量P
t
包括当前定位坐标(x
t
,y
t
)和当前朝向角θ
t
，x
t
＝x
*
+
△
x
t
，y
t
＝y
*
+
△
y
t
，θ
t
＝θ
*
+
△
θ
t
。2.根据权利要求1所述的基于环视图像和语义地图的车辆定位方法，其特征在于，所述第一语义地图包括多个第一地图元素；所述第一地图元素包括第一元素类型、第一元素形状和第一元素标记点序列；所述第一元素标记点序列包括多个第一元素标记点d
i
；所述第一元素标记点d
i
包括第一标记点坐标(x
i
,y
i
)；i≥1；所述第一环视图像集合包括多个第一环视图像；所述定位偏移预测模型包括BEV特征编码网络、语义地图编码器、跨模态编码网络和位姿解码器；所述BEV特征编码网络包括图像特征提取网络、BEV特征转换网络、残差网络和位置编码器；所述BEV特征转换网络包括透视图编码器和视角转换器；所述跨模态编码网络包括自注意编码器和交叉注意编码器；所述位姿解码器包括第一全连接层、第一最大池化层和第二全连接层；所述图像特征提取网络的输出与所述透视图编码器的输入连接；所述透视图编码器的输出与所述视角转换器的输入连接；所述视角转换器的输出与所述残差网络的输入连接；所述残差网络的输出分别与所述位置编码器和所述自注意编码器的输入连接；所述位置编码器的输出分别与所述自注意编码器和所述交叉注意编码器的输入连接；所述语义地图编码器的输出与所述交叉注意编码器的输入连接；所述交叉注意编码器的输出与所述第一全连接层的输入连接；所述第一全连接层的输出与所述第一最大池化层的输入连接；所述第一最大池化层的输出与所述第二全连接层的输入连接；所述图像特征提取网络基于EfficientNet实现；所述BEV特征转换网络的所述透视图编码器和所述视角转换器基于HDMapNet的透视图编码器和视角转换器实现；所述位置编码器基于DERT的位置编码方案实现。3.根据权利要求2所述的基于环视图像和语义地图的车辆定位方法，其特征在于，所述根据所述行驶速度、所述行驶加速度、所述前一定位向量P
t
‑1和所述第一语义地图对当前时刻的自车定位进行初步估计生成对应的估计定位向量P
*
，具体包括：根据所述行驶速度、所述行驶加速度、所述前一定位向量P
t
‑1的所述前一定位坐标(x
t
‑1,y
t
‑1)和所述第一语义地图对当前时刻的自车定位坐标进行估计生成对应的所述估计定位坐标(x
*
,y
*
)；
根据所述前一定位坐标(x
t
‑1,y
t
‑1)、所述估计定位坐标(x
*
,y
*
)和所述前一定位向量P
t
‑1的所述前一朝向角θ
t
‑1对当前时刻的自车定位朝向角进行估计生成对应的所述估计朝向角θ
*
；由得到的所述估计定位坐标(x
*
,y
*
)和所述估计朝向角θ
*
组成对应的所述估计定位向量P
*
。4.根据权利要求2所述的基于环视图像和语义地图的车辆定位方法，其特征在于，所述将所述第一环视图像集合和所述第一语义地图输入基于环视图像和语义地图的定位偏移预测模型对当前时刻车辆的真实定位与估计定位的偏移进行预测生成对应的定位偏移向量
△
P
t
，具体包括：将所述第一环视图像集合输入所述定位偏移预测模型的所述BEV特征编码网络进行BEV特征编码处理生成对应的第一BEV特征张量和第一位置编码张量；所述第一BEV特征张量的形状为H1×
W1×
C1，H1、W1、C1为正整数；所述第一位置编码张量的形状为M1×
C1，M1为正整数；将所述第一语义地图输入所述定位偏移预测模型的所述语义地图编码器进行地图编码处理生成对应的第一地图特征张量；所述第一地图特征张量的形状为M2×
C2，M2、C2为预先设定的地图特征张量维度参数；将所述第一BEV特征张量、所述第一位置编码张量和所述第一地图特征张量输入所述定位偏移预测模型的所述跨模态编码网络进行BEV特征到地图特征的跨模态关联处理生成对应的第一关联特征张量；所述第一关联特征张量的形状为M2×
C2；将所述第一关联特征张量输入所述定位偏移预测模型的所述位姿解码器进行解码处理生成对应的所述定位偏移向量
△
P

【专利技术属性】
技术研发人员：周文强，张志煌，许萌，彭涛，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：