一种跟踪系统初始化方法及终端设备技术方案

本申请公开了一种跟踪系统初始化方法及终端设备，所述方法包括：采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据；将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息；基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，并基于所述精确的重力信息确定精确的尺度信息。

【技术实现步骤摘要】
一种跟踪系统初始化方法及终端设备
本申请涉及相机跟踪技术，尤其涉及一种跟踪系统初始化方法及终端设备。
技术介绍
视觉与惯导融合的相机跟踪技术在移动增强现实、机器人视觉导航等领域有着重要的用途。针对单目相机跟踪系统的初始化尤为困难，这是因为从单目相机进行空间三维重建时存在着天然的尺度不确定性。而初始化尺度的误差会进一步带来后续跟踪的不稳定。因此视觉惯导相机跟踪系统的快速鲁棒初始化对于整个系统的平稳运行有着非常关键的作用。目前已有的初始化方案可以简单分为两大类：基于卡尔曼滤波的直接传感器融合方案(简称为滤波方案)和基于纯视觉跟踪再进行惯导对齐的方案(简称为对齐方案)。在滤波方案下，测量偏差的错误初值会使得收敛变慢，而在对齐方案下，已有的方案难以同时求解这两个分量，带来尺度估计上的误差。
技术实现思路
为解决上述技术问题，本申请实施例提供了一种跟踪系统初始化方法及终端设备、存储介质、计算机程序产品、计算机设备。本申请实施例提供的跟踪系统初始化方法，包括：采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据；将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息；基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，并基于所述精确的重力信息确定精确的尺度信息。本申请实施例中，所述采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据，包括：采集多帧图像；对所述多帧图像进行视觉重建处理，得到所述图像采集装置的多个位姿信息，其中，所述多帧图像中的每帧图像对应一个所述图像采集装置的位姿信息，所述图像采集装置的位姿信息包括所述图像采集装置的位置信息和姿态信息。本申请实施例中，所述将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐之前，所述方法还包括：测量所述图像采集装置的惯导数据，并对所述惯导数据进行积分处理，其中，所述惯导数据包括角速度和加速度。本申请实施例中，所述将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息，包括：基于所述图像采集装置的多个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程；基于所述多个运动约束方程，得到所述初步的尺度信息和初步的重力信息。本申请实施例中，所述基于所述图像采集装置的多个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程，包括：基于所述图像采集装置的任意两个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程；其中，所述图像采集装置的任意两个位姿信息包括：所述图像采集装置的任意两个相邻的位姿信息和任意两个非相邻的位姿信息。本申请实施例中，所述基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，包括：从所述视觉数据中提取直线边缘信息；根据所述初步的重力信息对所述直线边缘信息进行过滤，得到与所述重力信息的误差在预设阈值内的直线边缘信息，将与所述重力信息的误差在预设阈值内的直线边缘信息作为竖直边缘信息；将所述竖直边缘信息和所述重力信息一致作为约束条件建立线性方程，基于所述线性方程得到所述精确的重力信息。本申请实施例中，所述竖直边缘信息的数量为多个，多个所述竖直边缘信息对应多个所述线性方程；所述基于所述线性方程得到所述精确的重力信息，包括：根据多个所述竖直边缘信息中的每个所述竖直边缘信息的长度对所述多个所述线性方程进行加权后联立；基于联立后的线性方程，得到所述精确的重力信息。本申请实施例中，所述基于所述精确的重力信息获取精确的尺度信息，包括：利用所述精确的重力信息作为约束，将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到所述精确的尺度信息。本申请实施例提供的终端设备，包括：图像采集装置，用于采集视觉数据；惯导测量装置，用于测量所述图像采集装置的惯导数据；视觉重建模块，用于基于所述视觉数据恢复图像采集装置的运动数据；初步对齐模块，用于将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息；优化模块，用于基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，并基于所述精确的重力信息确定精确的尺度信息。本申请实施例中，所述图像采集装置，用于采集多帧图像；所述视觉重建模块，用于对所述多帧图像进行视觉重建处理，得到所述图像采集装置的多个位姿信息，其中，所述多帧图像中的每帧图像对应一个所述图像采集装置的位姿信息，所述图像采集装置的位姿信息包括所述图像采集装置的位置信息和姿态信息。本申请实施例中，所述装置还包括：预积分模块，用于对所述惯导数据进行积分处理，其中，所述惯导数据包括角速度和加速度。本申请实施例中，所述初步对齐模块，用于基于所述图像采集装置的多个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程；基于所述多个运动约束方程，得到所述初步的尺度信息和初步的重力信息。本申请实施例中，所述初步对齐模块，用于基于所述图像采集装置的任意两个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程；其中，所述图像采集装置的任意两个位姿信息包括：所述图像采集装置的任意两个相邻的位姿信息和任意两个非相邻的位姿信息。本申请实施例中，所述优化模块，用于从所述视觉数据中提取直线边缘信息；根据所述初步的重力信息对所述直线边缘信息进行过滤，得到与所述重力信息的误差在预设阈值内的直线边缘信息，将与所述重力信息的误差在预设阈值内的直线边缘信息作为竖直边缘信息；将所述竖直边缘信息和所述重力信息一致作为约束条件建立线性方程，基于所述线性方程得到所述精确的重力信息。本申请实施例中，所述竖直边缘信息的数量为多个，多个所述竖直边缘信息对应多个所述线性方程；所述优化模块，用于根据多个所述竖直边缘信息中的每个所述竖直边缘信息的长度对所述多个所述线性方程进行加权后联立；基于联立后的线性方程，得到所述精确的重力信息。本申请实施例中，所述优化模块，用于利用所述精确的重力信息作为约束，将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到所述精确的尺度信息。本申请实施例提供的计算机程序产品，包括计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的跟踪系统初始化方法。本申请实施例提供的存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的跟踪系统初始化方法。本申请实施例提供的计算机设备，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的跟踪系统初始化方法。本申请实施例的技术方案中，采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据；将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息；基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，并基于所述精确的重力信息确定精确的尺度信息。采用本申请实施例的技术方案，通过视觉数据中的竖直边缘信息更准确地对重力信息进行估计，使得初始化精度显著提高，尺度估计更为准确，从而可以更快完成更高质量的跟踪系统初始化。附图说明图1为本申请实本文档来自技高网...

【技术保护点】
1.一种跟踪系统初始化方法，其特征在于，所述方法包括：采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据；将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息；基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，并基于所述精确的重力信息确定精确的尺度信息。

【技术特征摘要】
1.一种跟踪系统初始化方法，其特征在于，所述方法包括：采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据；将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息；基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，并基于所述精确的重力信息确定精确的尺度信息。2.根据权利要求1所述的方法，其特征在于，所述采集视觉数据，基于所述视觉数据恢复图像采集装置的运动数据，包括：采集多帧图像；对所述多帧图像进行视觉重建处理，得到所述图像采集装置的多个位姿信息，其中，所述多帧图像中的每帧图像对应一个所述图像采集装置的位姿信息，所述图像采集装置的位姿信息包括所述图像采集装置的位置信息和姿态信息。3.根据权利要求1或2所述的方法，其特征在于，所述将恢复得到的所述图像采集装置的运动数据与测量得到的惯导数据进行对齐，得到初步的尺度信息和初步的重力信息，包括：基于所述图像采集装置的多个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程；基于所述多个运动约束方程，得到所述初步的尺度信息和初步的重力信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述图像采集装置的多个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程，包括：基于所述图像采集装置的任意两个位姿信息和所述惯导数据的积分结果，建立多个运动约束方程；其中，所述图像采集装置的任意两个位姿信息包括：所述图像采集装置的任意两个相邻的位姿信息和任意两个非相邻的位姿信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述视觉数据中的竖直边缘信息对所述初步的重力信息进行修正，得到精确的重力信息，包括：...

【专利技术属性】
技术研发人员：鲍虎军，章国锋，李津宇，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江,33