一种基于小波神经网络的视觉惯性卫星紧耦合定位方法技术

本发明专利技术公开了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，具体为：安装VO、IMU和GNSS，将三个传感器采集的数据进行轨迹对齐，采用FAST特征点法和光流法跟踪上一个时刻的图像，得到相邻两个时刻图像帧之间的视觉重投影误差，对相邻两个时刻图像帧之间IMU数据进行预积分，并进行协方差传递推导，得到IMU预积分残差，判断能否接收到GNSS信号，若否，将VO和IMU的残差之和输入至训练好的小波神经网络中，得到载体当前的最优位姿估计值；否则，将VO、IMU和GNSS计算到的残差相加，构建非线性优化函数，求解该函数得到载体当前的最优位姿估计值。本发明专利技术鲁棒性高，可以在GNSS信号长期失锁时仍保持较高的定位精度。

【技术实现步骤摘要】
一种基于小波神经网络的视觉惯性卫星紧耦合定位方法
本专利技术属于无人驾驶多传感器数据融合

技术介绍
在复杂的道路交通环境下，无人车必须具备实时、全面、准确的定位特性，其定位误差不能超过10cm，如果仍然使用单一的定位方式，无法适用于所有的场景，达到理想的定位效果。所以基于传感器融合的定位方法是现在定位技术研究的主要方向。卫星惯导组合系统是目前应用最广泛的定位系统。但是为了满足无人车厘米级的定位要求，需要使用高性能的惯性测量单元(IMU)，限制了自主导航的发展。加入视觉里程计(VO)辅助定位，可以降低对IMU精度的要求，适合无人车低成本的发展趋势。然而，全球导航卫星系统定位(GNSS)易受到干扰和遮挡，影响GNSS/IMU/VO定位精度。目前，卫星惯导组合导航系统主要采用基于位置或基于速度的松组合导航方式。在松组合方式下，卫星和惯导各自保持独立工作状态。该组合方式实现简单，应用广泛，但是无法很好地解决信号缺失的问题。当无人车经过丛林高山或者在城市环境中受到遮挡时，很容易导致有效卫星少于4颗，此时卫星导航无法提供准确的位置与速度信息，因此无法实现卫星与惯导的信息融合。为了解决这一问题，有研究将人工智能算法应用到组合导航领域，可以减小传感器的累积误差，加快解算速度，是未来组合导航发展的一个参考方向。近年来，神经网络算法已经被越来越多的应用到组合导航领域，基于神经网络的组合导航系统可以解决单传感器失效的问题，具有计算量小、实时性高、定位精度高的优点，具有很好的应用前景。但是目前的神经网络大多是基于卫星惯导的松组合系统，组合定位系统并没有充分的利用多传感器采集到的测量信息，系统在GNSS长期失锁的场景中不具备很高的定位精度。
技术实现思路
专利技术目的：为解决现有技术在GNSS长期失锁的场景中不具备很高的定位精度的问题，本专利技术提供了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法。技术方案：本方提供了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，具体包括如下步骤：步骤一：在载体上安装双目摄像机VO、惯性传感器IMU和GNSS接收机，组成定位系统；步骤二：对系统进行初始化，将VO坐标系和IMU坐标系均转换到GNSS的世界坐标系下，并将VO、IMU和GNSS采集的数据进行时间同步；步骤三：跟踪第k时刻图像帧中的FAST特征点，从而得到第k+1时刻图像帧中的FAST特征点；步骤四：基于相邻两帧图像之间的FAST特征点，计算该相邻两帧图像之间的VO重投影误差；步骤五：对第k时刻与第k+1时刻之间IMU测得数据进行预积分，得到IMU误差传递模型，利用该模型对相邻两时刻之间IMU测得数据进行噪声处理，从而计算出相邻两个时刻之间IMU的惯性残差；步骤六：根据步骤四中的重投影误差和步骤五中的惯性残差，计算得到第k+1时刻时载体位置的估计值；步骤七：判断GNSS信号是否被遮挡，若否，则根据第k时刻载体位置估计值和第k+1时刻载体位置估计值之差，设置GNSS接收机搜索的频域范围，GNSS接收机在设置的频域范围内对卫星信号进行三维搜索，测得第k+1时刻载体的位置信息，并且以GNSS接收机测得的载体的位置信息与载体实际位置之间的残差、IMU的惯性残差和VO的重投影误差的三者之和最小为目标，建立优化函数，并求解该函数得到第K+1时刻时载体位置的最优估计值；若GNSS信号被遮挡，则转步骤八；步骤八：将第k时刻和第k+1时刻之间的VO重投影误差与IMU惯性残差之和输入至训练好的小波神经网络中，从而得到第k+1时刻载体位置估计值的修正量，并基于该修正量调整第k+1时刻时载体位置的估计值，从而得到第k+1时刻时载体位置的最优估计值；所述训练好的小波神经网络具体为：在GNSS信号没有被遮挡的情况下，采集n组相邻两个时刻之间的VO重投影误差和IMU惯性残差，将第q组重投影误差和第q组惯性残差之和作为小波神经网络的输入向量，将第q组重投影误差和第q组惯性残差对应的载体位置估计值与载体位置实际值之差作为第q组修正量，并将该修正量作为小波神经网络的输出向量，q＝1，2，…n，基于粒子群算法，对小波神经网络进行训练。进一步的，所述步骤三中采用光流计算法跟踪第k时刻图像帧中的FAST特征点。进一步的，所述步骤四中采用多点透视法计算相邻两帧图像之间的VO重投影误差。进一步的，所述步骤八中的粒子群算法采用改进的粒子群算法，具体为：首先让整个粒子群独立寻找最优位置，从而构造小生境环境，再将各粒子的搜索信息共享，指导每个粒子向最优位置搜索。进一步的，所述步骤八中小波神经网络训练时激活函数选择莫雷小波函数。进一步的，所述步骤七中的优化函数为：其中，χ*为视觉-惯性-卫星紧耦合构成的系统状态变量的最优估计值，χ为视觉-惯性-卫星紧耦合构成的系统的状态变量，rG为GNSS接收机测得的载体的位置信息与载体实际位置之间的残差，J为残差对状态变量求导的雅克比，rB(.)为IMU惯性残差函数，为第k时刻到第k+1时刻之间IMU的观测量，为第k时刻到第k+1时刻之间IMU观测量的权重矩阵，C为第k时刻到第k+1时刻之间所有图像帧对应的VO测量值的集合，ρ(.)为重投影误差函数，(l，Cj)为集合C中第j个图像帧的第l个FAST特征点，为集合C中第j个图像帧的第l个FAST特征点的灰度值，为集合C中第j个图像帧的第l个FAST特征点的权重。进一步的，所述步骤七中设置GNSS接收机搜索的频域具体为：在[-10KHz，10KHz]的频域范围内，以500Hz为频率步长，GNSS接收机搜索的频域根据相邻两个时刻之间载体位置估计值之差的大小呈线性变化，差值越大则搜索的频域越大。有益效果：本专利技术提出采用小波神经网络的方式解决GNSS信号经常失锁的问题，小波神经网络是一种有监督学习网络，因为其引入了伸缩因子和平移因子，所以相比于一般的前向神经网络具有更好的逼近能力，收敛速度更快，小波神经网络的训练方法采用改进的小生境粒子群优化算法，可以得到最优的隐藏层神经元数量和最优的权值和阈值，从而得到观测值和优化位姿之差和修正量之间的映射关系，本专利技术具有很强的鲁棒性，可以在GNSS信号长期失锁时仍保持较高的定位精度。附图说明图1是本专利技术的系统结构图。图2是本专利技术的方法流程如。图3是小波神经网络的示意图。具体实施方式构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。如图1、2所示，本实施例提供了一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，该方法采用的传感器包括双目摄像头、IMU和GNSS接收机三大部分。双目摄像头用于采集周围环境的图像信息并利用FAST特征点和LK光流法解算相机的位姿估计。IMU用于测量载体的三轴角速度和三轴加速度，由于IMU会受到偏置的随机游走和高斯白噪声的影响，所以在估计系统状态时，还需要对陀螺仪和加速度计的偏置本文档来自技高网...

【技术保护点】
1.一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，具体包括如下步骤：/n步骤一：在载体上安装双目摄像机VO、惯性传感器IMU和GNSS接收机，组成定位系统；/n步骤二：对系统进行初始化，将VO坐标系和IMU坐标系均转换到GNSS的世界坐标系下，并将VO、IMU和GNSS采集的数据进行时间同步；/n步骤三：跟踪第k时刻图像帧中的FAST特征点，从而得到第k+1时刻图像帧中的FAST特征点；/n步骤四：基于相邻两帧图像之间的FAST特征点，计算该相邻两帧图像之间的VO重投影误差；/n步骤五：对第k时刻与第k+1时刻之间IMU测得数据进行预积分，得到IMU误差传递模型，利用该模型对相邻两时刻之间IMU测得数据进行噪声处理，从而计算出相邻两个时刻之间IMU的惯性残差；/n步骤六：根据步骤四中的重投影误差和步骤五中的惯性残差，计算得到第k+1时刻时载体位置的估计值；/n步骤七：判断GNSS信号是否被遮挡，若否，则根据第k时刻载体位置估计值和第k+1时刻载体位置估计值之差，设置GNSS接收机搜索的频域范围，GNSS接收机在设置的频域范围内对卫星信号进行三维搜索，测得第k+1时刻载体的位置信息，并且以GNSS接收机测得的载体的位置信息与载体实际位置之间的残差、IMU的惯性残差和VO的重投影误差的三者之和最小为目标，建立优化函数，并求解该函数得到第K+1时刻时载体位置的最优估计值；若GNSS信号被遮挡，则转步骤八；/n步骤八：将第k时刻和第k+1时刻之间的VO重投影误差与IMU惯性残差之和输入至训练好的小波神经网络中，从而得到第k+1时刻载体位置估计值的修正量，并基于该修正量调整第k+1时刻时载体位置的估计值，从而得到第k+1时刻时载体位置的最优估计值；所述训练好的小波神经网络具体为：在GNSS信号没有被遮挡的情况下，采集n组相邻两个时刻之间的VO重投影误差和IMU惯性残差，将第q组重投影误差和第q组惯性残差之和作为小波神经网络的输入向量，将第q组重投影误差和第q组惯性残差对应的载体位置估计值与载体位置实际值之差作为第q组修正量，并将该修正量作为小波神经网络的输出向量，q＝1，2，…n，基于粒子群算法，对小波神经网络进行训练。/n...

【技术特征摘要】
1.一种基于小波神经网络的视觉惯性卫星紧耦合定位方法，其特征在于，具体包括如下步骤：
步骤一：在载体上安装双目摄像机VO、惯性传感器IMU和GNSS接收机，组成定位系统；
步骤二：对系统进行初始化，将VO坐标系和IMU坐标系均转换到GNSS的世界坐标系下，并将VO、IMU和GNSS采集的数据进行时间同步；
步骤三：跟踪第k时刻图像帧中的FAST特征点，从而得到第k+1时刻图像帧中的FAST特征点；
步骤四：基于相邻两帧图像之间的FAST特征点，计算该相邻两帧图像之间的VO重投影误差；
步骤五：对第k时刻与第k+1时刻之间IMU测得数据进行预积分，得到IMU误差传递模型，利用该模型对相邻两时刻之间IMU测得数据进行噪声处理，从而计算出相邻两个时刻之间IMU的惯性残差；
步骤六：根据步骤四中的重投影误差和步骤五中的惯性残差，计算得到第k+1时刻时载体位置的估计值；
步骤七：判断GNSS信号是否被遮挡，若否，则根据第k时刻载体位置估计值和第k+1时刻载体位置估计值之差，设置GNSS接收机搜索的频域范围，GNSS接收机在设置的频域范围内对卫星信号进行三维搜索，测得第k+1时刻载体的位置信息，并且以GNSS接收机测得的载体的位置信息与载体实际位置之间的残差、IMU的惯性残差和VO的重投影误差的三者之和最小为目标，建立优化函数，并求解该函数得到第K+1时刻时载体位置的最优估计值；若GNSS信号被遮挡，则转步骤八；
步骤八：将第k时刻和第k+1时刻之间的VO重投影误差与IMU惯性残差之和输入至训练好的小波神经网络中，从而得到第k+1时刻载体位置估计值的修正量，并基于该修正量调整第k+1时刻时载体位置的估计值，从而得到第k+1时刻时载体位置的最优估计值；所述训练好的小波神经网络具体为：在GNSS信号没有被遮挡的情况下，采集n组相邻两个时刻之间的VO重投影误差和IMU惯性残差，将第q组重投影误差和第q组惯性残差之和作为小波神经网络的输入向量，将第q组重投影误差和第q组惯性残差对应的载体位置估计值与载体位置实际值之差作为第q组修正量，并将该修正量作为小波神经网络的输出向量，q＝1，2，…n，基于粒子群算法，对小波神经网络进行...

【专利技术属性】
技术研发人员：高唱，曾庆喜，陈则王，吕查德，阚宇超，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32