相机位姿的纠正方法、装置、系统、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种相机位姿的纠正方法、装置、系统、设备和存储介质，该方法包括：获取相机在当前图像帧对应的初始预积分值和初始位姿中的初始平移向量，其中初始预积分值和初始平移向量根据IMU惯性测量单元采集的信息进行预积分确定；根据相机的图像帧处理信息、初始预积分值和初始平移向量，计算初始平移向量对应的总估计误差，并基于总估计误差对初始平移向量进行纠正，确定当前图像帧对应的目标平移向量。通过本发明专利技术实施例的技术方案，可以对IMU进行噪声控制，降低IMU噪声的影响，提高初始位姿估计的准确度和精度，以便提高最终相机位姿估计的准确度和精度。

Correction Method, Device, System, Equipment and Storage Media of Camera Posture

【技术实现步骤摘要】
相机位姿的纠正方法、装置、系统、设备和存储介质
本专利技术实施例涉及位姿估计领域，尤其涉及一种相机位姿的纠正方法、装置、系统、设备和存储介质。
技术介绍
在计算机视觉研究领域中，通常利用视频帧序列对相机位姿进行估计。SLAM(Simultaneouslocalizationandmapping同时定位与建图)是一种常用技术，它通过追踪传感器(通常为相机)的位姿，来构建传感器的3D轨迹，并对环境进行建图。SLAM的应用场景广泛，比如机器人导航、自动驾驶、增强现实等。SLAM系统一般由前端视觉里程计(VisualOdometry，VO)和后端优化构成，视觉里程计是用于估算相邻图像间相机的运动以及局部地图。后端优化是用于对估算的运动以及回环检测的信息进行优化，获得全局一致的轨迹和地图。通常，基于相机数目和种类，SLAM可以分为单目SLAM、双目SLAM以及RGBD-SLAM。其中，单目SLAM由于成本低、设备尺寸小、可运行在大尺度环境中等优点，受到了越来越多的研究。然而，单目SLAM在估计相机位姿时无法获得尺度信息，即真实值与观测值之间的比例值，从而导致估计出来的轨迹与真实轨迹之间差一个缩放因子(尺度)。为了解决这一问题，现有技术中是将带有尺度特性的IMU(inertialmeasurementunit惯性测量单元)与视觉信息(相机拍摄的图像信息)进行结合，利用结合IMU信息带有尺度的单目SLAM系统可以获得较好的追踪精度以及带有尺度的轨迹估计。然而，现有技术中是将IMU数据预积分后直接输入至滑窗优化等位姿优化模块中，最终的轨迹估计结果非常依赖于位姿优化的结果，但是并没有对IMU中陀螺仪和加速度计存在的测量噪声和随机游走噪声进行噪声控制。噪声的存在往往会导致相机轨迹估计结果的准确性降低，而且对于廉价的IMU设备，其噪声会更大，使得估计结果更加不可控，甚至还会导致相机轨迹估计出现累积漂移的情况。
技术实现思路
本专利技术实施例提供了一种相机位姿的纠正方法、装置、系统、设备和存储介质，以对IMU进行噪声控制，降低IMU噪声的影响，提高初始位姿估计的准确度和精度，以便提高最终相机位姿估计的准确度和精度。第一方面，本专利技术实施例提供了一种相机位姿的纠正方法，包括：获取相机在当前图像帧对应的初始预积分值和初始位姿中的初始平移向量，其中所述初始预积分值和所述初始平移向量根据IMU惯性测量单元采集的信息进行预积分确定；根据所述相机的图像帧处理信息、所述初始预积分值和所述初始平移向量，计算所述初始平移向量对应的总估计误差，并基于所述总估计误差对所述初始平移向量进行纠正，确定所述当前图像帧对应的目标平移向量。可选地，在确定所述当前图像帧对应的目标平移向量之后，还包括：根据所述当前图像帧的初始速度、所述初始平移向量和所述目标平移向量，对所述初始速度的方向进行纠正，确定所述当前图像帧对应的目标速度。可选地，在确定所述当前图像帧对应的目标平移向量之后，还包括：根据所述当前图像帧对应的当前目标平移向量以及上一图像帧对应的上一目标平移向量和上一初始速度，对所述当前图像帧对应的初始预积分值进行纠正，确定所述当前图像帧对应的目标预积分值。可选地，在确定所述当前图像帧对应的目标速度之后，还包括：根据所述当前图像帧对应的当前目标平移向量、当前目标速度以及上一图像帧对应的上一目标平移向量和上一目标速度，对所述当前图像帧对应的初始预积分值进行纠正，确定所述当前图像帧对应的目标预积分值。第二方面，本专利技术实施例还提供了一种相机位姿的纠正装置，包括：初始信息获取模块，用于获取相机在当前图像帧对应的初始预积分值和初始位姿中的初始平移向量，其中所述初始预积分值和所述初始平移向量根据IMU惯性测量单元采集的信息进行预积分确定；初始平移向量纠正模块，用于根据所述相机的图像帧处理信息、所述初始预积分值和所述初始平移向量，计算所述初始平移向量对应的总估计误差，并基于所述总估计误差对所述初始平移向量进行纠正，确定所述当前图像帧对应的目标平移向量。第三方面，本专利技术实施例还提供了一种相机位姿的纠正系统，所述系统包括：预处理模块、初始化模块和位姿纠正模块；其中，所述预处理模块用于对相机拍摄的图像信息进行检测处理，确定图像帧处理信息，以及对IMU惯性测量单元采集的信息进行预积分，确定每个图像帧对应的初始预积分值和初始位姿，其中所述初始位姿包含初始平移向量；所述初始化模块用于根据所述图像帧处理信息、所述初始预积分值和所述初始位姿进行系统初始化；所述位姿纠正模块用于实现如本专利技术任意实施例所提供的相机位姿的纠正方法。第四方面，本专利技术实施例还提供了一种设备，所述设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例所提供的相机位姿的纠正方法。第五方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所提供的相机位姿的纠正方法。本专利技术实施例通过获取相机在当前图像帧对应的初始预积分值和初始位姿中的初始平移向量，其中，初始预积分值和初始平移向量均是根据IMU惯性测量单元采集的信息进行预积分确定的。利用对相机拍摄的图像进行处理后获得的图像帧处理信息、初始预积分值和初始平移向量，计算出初始平移向量对应的总估计误差，并基于该总估计误差可以对初始平移向量进行纠正，获得纠正后的当前图像帧对应的目标平移向量。本专利技术通过利用相机的视觉信息对基于IMU信息确定的初始平移向量进行纠正，从而可以对IMU进行噪声控制，降低了IMU噪声对初始平移向量的影响，从而提高了初始平移向量估计的准确度和精度，进而提高了初始位姿的准确度和精度。而且在纠正初始平移向量后，还可以对当前图像帧的初始速度和/或初始预积分值进行纠正，从而也可以提高初始速度和初始预积分值的准确度和精度，以便进一步提高最终相机位姿估计的准确度和精度。附图说明图1是本专利技术实施例一提供的一种相机位姿的纠正方法的流程图；图2是本专利技术实施例二提供的一种相机位姿的纠正方法的流程图；图3(a)是本专利技术实施例二所涉及的一种相邻两张图像帧之间真实的初始速度的变化示例；图3(b)是本专利技术实施例二所涉及的一种基于运动学公式计算出的相邻两张图像帧之间的初始速度的变化示例；图4是本专利技术实施例二所涉及的一种对初始速度进行纠正的示例；图5是本专利技术实施例三提供的一种相机位姿的纠正方法的流程图；图6是本专利技术实施例四提供的一种相机位姿的纠正装置的结构示意图；图7是本专利技术实施例五提供的一种相机位姿的纠正系统的结构示意图；图8是本专利技术实施例六提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种相机位姿的纠正方法的流程图，本实施例可适用于对基于IMU信息确定的初始平移向量进行纠正的情况，尤其是可以适用于在带有预积分模块的SLAM系统或者VIO(Visual-InertialOdometry，视觉惯性里程计)系本文档来自技高网...

【技术保护点】
1.一种相机位姿的纠正方法，其特征在于，包括：获取相机在当前图像帧对应的初始预积分值和初始位姿中的初始平移向量，其中所述初始预积分值和所述初始平移向量根据IMU惯性测量单元采集的信息进行预积分确定；根据所述相机的图像帧处理信息、所述初始预积分值和所述初始平移向量，计算所述初始平移向量对应的总估计误差，并基于所述总估计误差对所述初始平移向量进行纠正，确定所述当前图像帧对应的目标平移向量。

【技术特征摘要】
1.一种相机位姿的纠正方法，其特征在于，包括：获取相机在当前图像帧对应的初始预积分值和初始位姿中的初始平移向量，其中所述初始预积分值和所述初始平移向量根据IMU惯性测量单元采集的信息进行预积分确定；根据所述相机的图像帧处理信息、所述初始预积分值和所述初始平移向量，计算所述初始平移向量对应的总估计误差，并基于所述总估计误差对所述初始平移向量进行纠正，确定所述当前图像帧对应的目标平移向量。2.根据权利要求1所述的方法，其特征在于，在确定所述当前图像帧对应的目标平移向量之后，还包括：根据所述当前图像帧的初始速度、所述初始平移向量和所述目标平移向量，对所述初始速度的方向进行纠正，确定所述当前图像帧对应的目标速度。3.根据权利要求1所述的方法，其特征在于，在确定所述当前图像帧对应的目标平移向量之后，还包括：根据所述当前图像帧对应的当前目标平移向量以及上一图像帧对应的上一目标平移向量和上一初始速度，对所述当前图像帧对应的初始预积分值进行纠正，确定所述当前图像帧对应的目标预积分值。4.根据权利要求2所述的方法，其特征在于，在确定所述当前图像帧对应的目标速度之后，还包括：根据所述当前图像帧对应的当前目标平移向量、当前目标速度以及上一图像帧对应的上一目标平移向量和上一目标速度，对所述当前图像帧对应的初始预积分值进行纠正，确定所述当前图像帧对应的目标预积分值。5.根据权利要求2或4所述的方法，其特征在于，根据所述相机的图像帧处理信息、所述初始预积分值和所述初始平移向量，计算所述初始平移向量对应的总估计误差，并基于所述总估计误差对所述初始平移向量进行纠正，确定所述当前图像帧对应的目标平移向量，包括：根据所述当前图像帧中的各目标特征点的像素坐标、每个所述目标特征点在所述当前图像帧之前的目标图像帧中的三维坐标、所述当前图像帧与目标图像帧之间的转换矩阵，计算所述当前图像帧对应的视觉误差，其中，所述转换矩阵根据所述初始平移向量和所述当前图像帧对应的初始旋转矩阵确定；根据所述当前图像帧对应的初始平移向量、所述当前图像帧与上一图像帧之间的时间间隔、所述上一图像帧对应的上一目标平移向量和上一目标速度、以及所述当前图像帧对应的初始预积分值，计算所述当前图像帧对应的IMU误差；将所述视觉误差与所述IMU误差进行相加，确定所述初始平移向量对应的总估计误差；通过调整所述初始平移向量的大小，对所述总估计误差进行最小化，并将最小的总估计误差对应的初始平移向量确定为所述当前图像帧对应的目标平移向量。6.根据权利要求5所述的方法，其特征在于，在计算所述当前图像帧对应的视觉误差之前，还包括：对于每个所述目标特征点，将滑窗内首次出现所述目标特征点的关键图像帧确定为该目标特征点对应的目标图像帧，其中，所述滑窗包含多个关键图像帧和所述当前图像帧。7.根据权利要求5所述的方法，其特征在于，基于如下公式，计算所述当前图像帧对应的视觉误差：其中，rproj为所述当前图像帧j对应的视觉误差；为所述当前图像帧j中的第i个目标特征点的像素坐标；Pi为第i个目标特征点在所述当前图像帧j之前的目标图像帧k中的归一化三维坐标；λi为第i个目标特征点对应的深度值；为目标图像帧k到当前图像帧j的转换矩阵；π表示将三维坐标投影至当前图像帧的二维平面上；ρ为胡贝尔损失函数；C为所述当前图像帧j中的各目标特征点的集合；F为各目标图像帧的集合。8.根据权利要求5所述的方法，其特征在于，基于如下公式，计算所述当前图像帧对应的IMU误差：其中，rIMU为所述当前图像帧j对应的IMU误差，为世界坐标系到上一图像帧j-1对应的相机坐标系的第一旋转矩阵；为所述当前图像帧j对应的初始平移向量，即当前图像帧j对应的相机坐标系到世界坐标系的位移；为所述上一图像帧j-1对应的上一目标平移向量；Δt为所述当前图像帧j与所述上一图像帧j-1之间的时间间隔；为所述上一图像帧在世界坐标系下的上一目标速度；gw为在世界坐标系下的重力加速度；为上一图像帧j-1到当前图像帧之间的初始预积分值。9.根据权利要求2所述的方法，其特征在于，根据所述当前图像帧的初始速度、所述初始平移向量和所述目标平移向量，对所述初始速度的方向进行纠正，确定所述当前图像帧对应的目标...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海,31