一种基于运动状态与环境感知的多源融合导航定位方法技术

本发明专利技术提出了一种基于运动状态与环境感知的多源融合导航定位方法，包括步骤1，使用相机采集图像帧，剔除图像帧中的动态点，获得每帧图像的静态特征点及其位置；步骤2，基于每帧图像的特征点位置以及视觉和IMU紧组合融合定位算法，获得局部相机位姿；步骤3，基于IMU测量数据，获得车辆运动状态；根据车辆运动状态进行自适应算法的切换；步骤4，基于局部相机位姿、自适应算法的切换结果、卡尔曼滤波以及GNSS、IMU和视觉松组合融合定位算法，获得最终定位结果。该方法有效的发挥了视觉在组合导航的作用，提高了多源融合定位的精度及鲁棒性。提高了多源融合定位的精度及鲁棒性。提高了多源融合定位的精度及鲁棒性。

【技术实现步骤摘要】
一种基于运动状态与环境感知的多源融合导航定位方法


[0001]本专利技术属于卫星定位导航
，尤其涉及一种基于运动状态与环境感知的多源融合导航定位方法。

技术介绍

[0002]城市环境中智能交通正在飞速发展，自动驾驶技术已经为人类生活提供了诸多便利。导航定位技术是决定车辆定位高精度、连续性、可靠性的关键，也是路径规划和车辆控制的重要前提。GNSS是导航定位的重要传感器，在空旷环境可以提供高精度的时空信息，但在城市峡谷、高架桥、隧道等城市复杂环境下，GNSS信号阻塞和遮挡会导致定位精度下降甚至缺失。借助单一的传感器难以在复杂多变的环境中保持良好的定位精度，因此需要通过利用多种传感器各自的优势，弥补缺陷与不足。当前，多传感器融合导航是解决城市环境中GNSS性能下降的主要研究方向，GNSS/INS组合导航是应用最广泛的组合导航系统，但长时间GNSS处于遮挡区域仅依靠惯性导航系统仍会产生较大误差，因此需要其他传感器来减小短时间内惯导的漂移，相机能够通过获取周围环境的图像进行环境感知和视觉信息获取，且具有不易受到干扰、价格低廉等优点，是理想的车载传感器。张奕然等人提出了一种通过双目视觉利用路标的地理位置建立路标数据库，对GNSS定位精度进行局部改良的方法，但只是用相机辅助GNSS，没有将相机作为主要传感器进行组合导航，薛伟罗晨等人提出了一种基于联邦滤波器的视觉辅助的INS/GNSS导航系统，用INS分别和GNSS和视觉进行松组合，但当观测信息和数据质量不佳时，组合导航的性能将会受到影响。因此，进行具备可靠性和鲁棒性的GNSS/IMU/视觉组合导航系统的研究有巨大的发展前景。
[0003]术语解释：GNSS
ꢀꢀꢀꢀ
全球导航卫星系统 （Global Navigation Satellite System）IMU
ꢀꢀꢀꢀꢀ
惯性测量元件 （Inertial Measurement Unit）INS
ꢀꢀꢀꢀꢀꢀ
惯性导航系统（Inertial Navigation System）VIO
ꢀꢀꢀꢀꢀꢀ
视觉惯性里程计（Visual Inertial Odometry）SLAM
ꢀꢀꢀꢀ
同步定位与建图（simultaneous localization and mapping）VO
ꢀꢀꢀꢀꢀꢀꢀ
视觉里程计（Visual Odometry）BN
ꢀꢀꢀꢀꢀꢀꢀ
批量归一化（Batch Normalization）ECEF
ꢀꢀꢀꢀꢀ
地心地固（Earth
‑
Centered, Earth
‑
Fixed）KLT
ꢀꢀꢀꢀꢀꢀ
稀疏光流跟踪法（Kanade
‑
Lucas
‑
Tomasi Tracking Method）EKF
ꢀꢀꢀꢀꢀꢀ
扩展卡尔曼滤波 (Extended Kalman Filter)。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于运动状态与环境感知的多源融合导航定位方法。
[0005]为了解决上述技术问题，本专利技术公开了一种基于运动状态与环境感知的多源融合
导航定位方法，包括以下步骤。
[0006]步骤1，使用相机采集图像帧，剔除图像帧中的动态点，获得每帧图像的静态特征点及其位置。
[0007]步骤2，基于每帧图像的特征点位置以及视觉和IMU紧组合融合定位算法，获得局部相机位姿。
[0008]步骤3，基于IMU测量数据，获得车辆运动状态；根据车辆运动状态进行自适应算法的切换。
[0009]步骤4，基于局部相机位姿、自适应算法的切换结果、卡尔曼滤波以及GNSS、IMU和视觉松组合融合定位算法，获得最终定位结果。
[0010]进一步地，步骤1包括步骤1.1，对图像帧中每一帧图像的行人和车辆进行语义分割，对于相机采集的图像帧合集OPic，先用KLT稀疏光流法分别提取并追踪每帧图像的特征点，获得特征点位置，即特征点的像素坐标，并基于卷积神经网络进行车辆和行人的语义分割，获得每帧图像属于车辆或行人语义类别的特征点。
[0011]KLT稀疏光流法提取特征点，并跟踪同一像素点在像素坐标中的位置变化，是后续位姿估计的基础。而通过语义分割与动态点剔除，可以去掉那些“人”和“车辆”的动态的特征点，一是减小动态点对最终位姿估计的负面影响，二是可以减小稀疏光流法跟踪的点的个数，提高运算效率。
[0012]步骤1.2，对IMU测量数据进行预积分，获得IMU预积分结果，即相邻两帧图像的相对位姿关系，包括相邻两帧图像的相对位置、速度、姿态变化关系，所述测量数据包括加速度计和陀螺仪输出的测量值。
[0013]步骤1.3，动态点剔除，基于IMU预积分结果，将每帧图像属于车辆或行人语义类别的特征点基于IMU预积分结果投影到下一帧图像中，作为这部分特征点在所述下一帧图像中的预测位置；通过跟踪匹配到的所述下一帧图像中这些点的实际位置与预测位置的不一致的像素点即为动态点，实际位置与预测位置一致的像素点为静态点，将动态点进行剔除，从而获得所述下一帧图像的静态特征点及其位置。
[0014]步骤1.1分割出所有“车辆”和“行人”的动态点，但并不是所有的车辆和行人都是在运动的，所以需要再通过IMU预积分找出步骤1.1得到的车辆行人特征点中运动的那部分。先进行分割的作用是不必对所有的特征点进行预积分投影，因为例如树木，路灯这些物体是一定静止的，所以先找出车辆和行人这些有可能动的，只投影这一部分，可以减少运算量。
[0015]进一步地，所述步骤1.1中卷积神经网络采用改进的U
‑
net卷积神经网络，所述改进的U
‑
net卷积神经网络将编码器和解码器中卷积层替换为Ghost模块，Ghost模块与传统卷积模块功能相同，但它属于轻量级操作，其所用的线性变换操作在保证精度的同时更加成本低廉，计算量小。
[0016]基于卷积神经网络进行车辆和行人的语义分割包括步骤1.1.1，利用数据集对改进的U
‑
net卷积神经网络模型进行训练；所述数据集预先通过车载摄像头采集的方式获取不同场景下的道路图像，建立车辆行人数据集，或直接下载现有的公开的道路数据集；对所述改进U
‑
net卷积神经网络模型进行训练，获得训练后的改进U
‑
net卷积神经网络。
[0017]步骤1.1.2，将相机采集的图像帧合集OPic输入训练后的改进U
‑
net卷积神经网络
的编码器，获得相机采集的图像帧合集OPic的高层级特征向量。
[0018]步骤1.1.3，将所述相机采集的图像帧合集OPic的高层级特征向量输入训练后的改进U
‑
net卷积神经网络的解码器，获得用于语义类别分割的特征图像。...

【技术保护点】

【技术特征摘要】
1.一种基于运动状态与环境感知的多源融合导航定位方法，其特征在于，包括以下步骤：步骤1，使用相机采集图像帧，剔除图像帧中的动态点，获得每帧图像的静态特征点及其位置；步骤2，基于每帧图像的特征点位置以及视觉和IMU紧组合融合定位算法，获得局部相机位姿；步骤3，基于IMU测量数据，获得车辆运动状态；根据车辆运动状态进行自适应算法的切换；步骤4，基于局部相机位姿、自适应算法的切换结果、卡尔曼滤波以及GNSS、IMU和视觉松组合融合定位算法，获得最终定位结果。2.根据权利要求1所述的一种基于运动状态与环境感知的多源融合导航定位方法，其特征在于，步骤1包括：步骤1.1，对图像帧中每一帧图像的行人和车辆进行语义分割，对于相机采集的图像帧合集OPic，先用KLT稀疏光流法分别提取并追踪每帧图像的特征点，获得特征点位置，并基于卷积神经网络进行车辆和行人的语义分割，获得每帧图像属于车辆或行人语义类别的特征点；步骤1.2，对IMU测量数据进行预积分，获得IMU预积分结果，即相邻两帧图像的相对位姿关系，包括相邻两帧图像的相对位置、速度、姿态变化关系，所述测量数据包括加速度计和陀螺仪输出的测量值；步骤1.3，动态点剔除，基于IMU预积分结果，将每帧图像属于车辆或行人语义类别的特征点基于IMU预积分结果投影到下一帧图像中，作为这部分特征点在所述下一帧图像中的预测位置；通过跟踪匹配到的所述下一帧图像中这些点的实际位置与预测位置的不一致的像素点即为动态点，实际位置与预测位置一致的像素点为静态点，将动态点进行剔除，从而获得所述下一帧图像的静态特征点及其位置。3.根据权利要求2所述的一种基于运动状态与环境感知的多源融合导航定位方法，其特征在于，所述步骤1.1中卷积神经网络采用改进的U
‑
net卷积神经网络，所述改进的U
‑
net卷积神经网络编码器和解码器中包括Ghost模块，基于卷积神经网络进行车辆和行人的语义分割包括：步骤1.1.1，利用数据集对改进的U
‑
net卷积神经网络模型进行训练；所述数据集预先通过车载摄像头采集的方式获取不同场景下的道路图像，建立车辆行人数据集，或直接下载现有的公开的道路数据集；对所述改进U
‑
net卷积神经网络模型进行训练，获得训练后的改进U
‑
net卷积神经网络；步骤1.1.2，将相机采集的图像帧合集OPic输入训练后的改进U
‑
net卷积神经网络的编码器，获得相机采集的图像帧合集OPic的高层级特征向量；步骤1.1.3，将所述相机采集的图像帧合集OPic的高层级特征向量输入训练后的改进U
‑
net卷积神经网络的解码器，获得用于语义类别分割的特征图像；步骤1.1.4，将用于语义类别分割的特征图像输入softmax层，获得相机采集的图像帧合集OPic中每帧图像属于车辆或行人语义类别的特征点。4.根据权利要求3所述的一种基于运动状态与环境感知的多源融合导航定位方法，其
特征在于，步骤2包括：步骤2.1，基于每帧图像的特征点位置和IMU预积分结果进行VIO初始化，获得相机和IMU之间的外参、特征点的深度、紧耦合的位置、速度、姿态的初始值；步骤2.2，所述视觉和IMU紧组合融合定位算法基于非线性优化方式，根据所述相机和IMU之间的外参、特征点的深度、紧耦合的位置、速度、姿态的初始值进行滑动窗口的视觉和IMU紧组合非线性优化，求解出滑动窗口中最优的相机位姿，即局部相机位姿。5.根据权利要求4所述的一种基于运动状态与环境感知的多源融合导航定位方法，其特征在于，所述步骤2.1中，基于每帧图像的特征点位置通过运动恢复结构技术恢复图像帧的位姿变换，再用图像帧的位姿变换与IMU预积分结果对齐，恢复相机和IMU之间的外参，获得IMU坐标系和世界坐标系的转换关系；所述步骤2.2包括：获取视觉和IMU紧组合滑动窗口的状态向量X，运用最小化重投影误差算法，求解视觉和IMU紧组合非线性优化问题，运用非线性优化库Ceres solver库求解所述非线性优化问题，从而求解出滑动窗口中最优的相机位姿；视觉和IMU紧组合非线性优化问题的待优化误差函数为：式中，γ
marg
是来自边缘化的先验信息，即滑动窗口中最老的帧与其相应的状态量被边缘化，作为先验信息；γ
I
和γ
L
分别是IMU残差项和视觉残差项；I是其中所有IMU测量的集合，是第k帧图像到第k+1帧图像间IMU预积分噪声项的协方差矩阵；L是在当前滑动窗口中至少观察到两次的特征点的集合，是集合L中第θ帧图像中第l个像素坐标的视觉观测噪声的协方差矩阵。6.根据权利要求5所述的一种基于运动状态与环境感知的多源融合导航定位方法，其特征在于，步骤3中，所述自适应算法的切换指根据车辆运动状态，分别用零速修正、鲁棒核函数、非完整约束对GNSS、IMU...

【专利技术属性】
技术研发人员：孙蕊，戴晔莹，朱永文，王均晖，王长春，林挺，孔洁，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：