【技术实现步骤摘要】
本专利技术涉及图像处理、视频分析，特别涉及一种单目视觉惯性里程计方法及系统。
技术介绍
1、视觉里程计(visual odometry，vo)是同步定位与地图构建(slam)的关键，也是增强现实(ar)、自动驾驶、机器人等领域中的重要模块。单目视觉惯性里程计(visual-inertial odometry，vio)是在视觉里程计的基础上，引入了惯性测量单元(imu)，它解决了视觉里程计的缺陷，但也带来了新的问题：即相机采集的图像和imu数据的融合与优化困难。
2、目前，相机和imu数据的融合方式分为松耦合和紧耦合，主流的vio都采用紧耦合方式，即在融合相机和imu的原始数据后共同估计位姿。这种耦合方式在算法上复杂，但充分利用了传感器数据的联合特征关系，可以实现更准确的位姿估计结果。
3、然而，在相机和imu数据的优化方式上，主流的vio彼此并未达成一致，存在基于滤波的融合方案和基于优化的融合方案。具体而言，基于滤波的融合方案以msckf为代表，基于优化的融合方案以ok-vis和vins-mono为代表。虽然在视觉里程计领域，基于优化的方案已经明显优于基于滤波的方案，但是在vio领域，由于高频imu信息的存在，基于优化的方案需要的计算量更大，并没有明显优于基于滤波的方案。
4、此外，主流的vio技术虽然成熟，但它们的校准、复杂的初始化流程和优化期间的大量计算需求限制了它们在资源受限的移动设备上的使用。此外，虽然它们擅长通过闭环检测和优化等手段进行远距离问题上的姿态估计，但在短距离上容易出现巨大
技术实现思路
1、本专利技术实施例提供了一种单目视觉惯性里程计方法及系统，以解决现有技术中的上述技术问题。
2、为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
3、根据本专利技术实施例的第一方面，提供了一种单目视觉惯性里程计方法。
4、在一个实施例中，所述单目视觉惯性里程计方法，包括：
5、获取单目相机捕获的数据图像以及惯性传感器所采集的imu数据；
6、对所述数据图像进行特征提取，得到光流特征，并对所述光流特征进行编码，得到图像特征编码结果；
7、对所述imu数据进行数据转换，并对转换后的imu数据进行积分处理，生成基于imu的位姿变化量；
8、根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量；并基于所述最终位置变化量，对具有位移估计部分元和角度估计部分的基于多尺度transformer的神经网络模型进行训练，得到位姿估计模型；
9、利用所述位姿估计模型，基于单目相机捕获的实时数据图像和惯性传感器所采集的实时imu数据，进行最后位姿估计。
10、在一个实施例中，对所述数据图像进行特征提取，得到光流特征包括：
11、将所述数据图像中两帧相邻图像输入到预先配置的flownet网络模型的卷积层，逐层提取相邻两帧图像的光流特征。
12、在一个实施例中，对所述光流特征进行编码，得到图像特征编码结果时，通过transformer编码器对所述光流特征进行编码，得到图像特征编码结果；在根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量时，通过transformer解码器根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量。
13、在一个实施例中，对所述imu数据进行数据转换，并对转换后的imu数据进行积分处理，生成基于imu的位姿变化量包括：
14、利用李代数转换方法将所述imu数据转换为李代数形式的imu数据，并利用imu预积分对李代数形式的imu数据进行积分处理，生成基于imu的位姿变化量。
15、在一个实施例中，在所述基于多尺度transformer的神经网络模型中，当进行位移估计部分的模型训练时，对输入数据中的角度数据进行屏蔽，当进行角度估计部分模型训练时，对输入数据中的位移数据进行屏蔽。
16、根据本专利技术实施例的第二方面，提供了一种单目视觉惯性里程计系统。
17、在一个实施例中，所述单目视觉惯性里程计系统，包括：
18、数据获取模块，用于获取单目相机捕获的数据图像以及惯性传感器所采集的imu数据；
19、特征处理模块，用于对所述数据图像进行特征提取，得到光流特征，并对所述光流特征进行编码，得到图像特征编码结果；
20、积分处理模块，用于对所述imu数据进行数据转换，并对转换后的imu数据进行积分处理，生成基于imu的位姿变化量；
21、模型训练模块，用于根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量；并基于所述最终位置变化量，对具有位移估计部分元和角度估计部分的基于多尺度transformer的神经网络模型进行训练，得到位姿估计模型；
22、位姿估计模块，用于利用所述位姿估计模型，基于单目相机捕获的实时数据图像和惯性传感器所采集的实时imu数据，进行最后位姿估计。
23、在一个实施例中，所述特征处理模块在对所述数据图像进行特征提取，得到光流特征时，将所述数据图像中两帧相邻图像输入到预先配置的flownet网络模型的卷积层，逐层提取相邻两帧图像的光流特征。
24、在一个实施例中，所述特征处理模块在对所述光流特征进行编码，得到图像特征编码结果时，通过transformer编码器对所述光流特征进行编码，得到图像特征编码结果；
25、所述模型训练模块在根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量时，通过transformer解码器根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量。
26、在一个实施例中，所述积分处理模块在对所述imu数据进行数据转换，并对转换后的imu数据进行积分处理，生成基于imu的位姿变化量时，利用李代数转换方法将所述imu数据转换为李代数形式的imu数据，并利用imu预积分对李代数形式的imu数据进行积分处理，生成基于imu的位姿变化量。
27、在一个实施例中，在所述基于多尺度transformer的神经网络模型中，当进行位移估计部分的模型训练时，对输入数据中的角度数据进行屏蔽，当进行角度估计部分模型训练时，对输入数据中的位移数据进行屏蔽。
28、本专利技术实施例提供的技术方案可以包括以下有益效果：
29、本专利技术具有位移估计部分元和角度估计部分的基于多尺度transformer的神经网络模型进行位姿估计，而transformer的神经网络模型由数据驱动训练，各模块参数在训练过程中会自动进行反馈调整，因此，避免了需要大量工程性的硬编码适配以及各个模块的人工设计微调，通用性强，而且避免了初始化实践过程本文档来自技高网...
【技术保护点】
1.一种单目视觉惯性里程计方法，其特征在于，包括：
2.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，对所述数据图像进行特征提取，得到光流特征包括：
3.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，对所述光流特征进行编码，得到图像特征编码结果时，通过Transformer编码器对所述光流特征进行编码，得到图像特征编码结果；在根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量时，通过Transformer解码器根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量。
4.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，对所述IMU数据进行数据转换，并对转换后的IMU数据进行积分处理，生成基于IMU的位姿变化量包括：
5.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，在所述基于多尺度Transformer的神经网络模型中，当进行位移估计部分的模型训练时，对输入数据中的角度数据进行屏蔽，当进行角度估计部分模型训练时，对输入数据中的位移数据进行屏蔽。
6.一种单目视觉惯
7.根据权利要求6所述的单目视觉惯性里程计系统，其特征在于，所述特征处理模块在对所述数据图像进行特征提取，得到光流特征时，将所述数据图像中两帧相邻图像输入到预先配置的FlowNet网络模型的卷积层，逐层提取相邻两帧图像的光流特征。
8.根据权利要求6所述的单目视觉惯性里程计系统，其特征在于，所述特征处理模块在对所述光流特征进行编码，得到图像特征编码结果时，通过Transformer编码器对所述光流特征进行编码，得到图像特征编码结果；
9.根据权利要求6所述的单目视觉惯性里程计系统，其特征在于，所述积分处理模块在对所述IMU数据进行数据转换，并对转换后的IMU数据进行积分处理，生成基于IMU的位姿变化量时，利用李代数转换方法将所述IMU数据转换为李代数形式的IMU数据，并利用IMU预积分对李代数形式的IMU数据进行积分处理，生成基于IMU的位姿变化量。
10.根据权利要求6所述的单目视觉惯性里程计系统，其特征在于，在所述基于多尺度Transformer的神经网络模型中，当进行位移估计部分的模型训练时，对输入数据中的角度数据进行屏蔽，当进行角度估计部分模型训练时，对输入数据中的位移数据进行屏蔽。
...【技术特征摘要】
1.一种单目视觉惯性里程计方法，其特征在于，包括：
2.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，对所述数据图像进行特征提取，得到光流特征包括：
3.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，对所述光流特征进行编码，得到图像特征编码结果时，通过transformer编码器对所述光流特征进行编码，得到图像特征编码结果；在根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量时，通过transformer解码器根据所述图像特征编码结果和所述位置变化量，估计出最终位置变化量。
4.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，对所述imu数据进行数据转换，并对转换后的imu数据进行积分处理，生成基于imu的位姿变化量包括：
5.根据权利要求1所述的单目视觉惯性里程计方法，其特征在于，在所述基于多尺度transformer的神经网络模型中，当进行位移估计部分的模型训练时，对输入数据中的角度数据进行屏蔽，当进行角度估计部分模型训练时，对输入数据中的位移数据进行屏蔽。
6.一种单目视觉惯性里程计系统，其特征在于，包括：
7...
【专利技术属性】
技术研发人员：乔秀全，黄亚坤，赵杰，商彦磊，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。