用于通过动态调整测量噪声协方差进行视觉SLAM的误差状态卡尔曼滤波器制造技术

描述了用于执行图像速率姿势测量更新的技术。在示例中，计算机系统(110)从惯性测量单元(113)接收计算的位置。计算机系统(110)从摄像头(112，114)接收多个图像。计算机系统(110)预测包括状态变量和状态协方差的误差状态。计算机系统(110)使用优化过程以第一频率提供第一SLAM姿势，使用纯视觉里程计以第二频率提供第二SLAM姿势。计算系统(110)使用第一SLAM姿势或第二SLAM姿势更新状态变量和状态协方差。势或第二SLAM姿势更新状态变量和状态协方差。势或第二SLAM姿势更新状态变量和状态协方差。

【技术实现步骤摘要】
【国外来华专利技术】用于通过动态调整测量噪声协方差进行视觉SLAM的误差状态卡尔曼滤波器

技术介绍

[0001]惯性导航(inertial navigation)是一种经典的定位方法。惯性导航使用一个或多个传感器，例如运动传感器或旋转传感器，不断计算和调整移动物体的位置、方向和速度。运动和旋转的感测可以通过惯性测量单元(inertial measurement unit，IMU)完成。惯性导航的一个优点是其仅依赖于传感器本身，而不需要例如全球定位系统、声纳位置建图、或基于相机的位置估计等外部参考。
[0002]确定位置的另一种方法是应用扩展卡尔曼滤波器(Extended Kalman Filter，EKF)，例如使用全球定位系统。然而，在EKF中，定向需要使用具有很多参数的四元数或旋转矩阵。有时，EKF具有高阶乘积，这使得雅可比矩阵的计算变得困难且缓慢。此外，当状态值过大时，使用EKF计算雅可比矩阵可能会出现各种计算问题，例如可能的参数奇异性、万向节锁问题等，无法保证线性化有效性始终保持不变。

技术实现思路

[0003]本专利技术实施例涉及通过插入测量的更新以更紧密地结合预测的状态变量和测量的状态变量，使用图像速率测量更新ESKF滤波器。本专利技术实施例适用于增强现实和基于计算机的系统中的各种应用。
[0004]根据本专利技术的实施例，提供了一种更新同时定位与建图系统中的状态变量的方法。该方法包括从惯性测量单元接收计算的位置，其中，上述计算的位置包括位置、方向、以及速度。该方法包括从摄像头接收多个图像。该方法还包括预测包括状态变量和状态协方差的误差状态。该方法包括使用优化过程处理上述多个图像的第一图像子集，以第一频率提供第一SLAM姿势。该方法还包括使用纯视觉里程计处理上述多个图像的第二图像子集，以第二频率提供第二SLAM姿势。该方法还包括使用上述第一SLAM姿势和上述第二SLAM姿势中的至少一个来更新上述状态变量和上述状态协方差。在一个示例中，状态变量包括至少速率、加速度计度量、陀螺仪度量、或重力测量的向量。
[0005]根据本专利技术的实施例，提供了用于更新SLAM系统的状态变量和状态协方差的计算系统。该计算系统包括惯性测量单元。该计算系统还包括处理器和存储有指令的一个或多个存储器，指令可由处理器执行。处理器执行指令以配置计算系统更新SLAM系统的状态变量和状态协方差。处理器配置该计算系统从惯性测量单元接收计算的位置，其中，计算的位置包括位置、方向、以及速度。处理器配置该计算系统从摄像头接收多个图像。处理器配置该计算系统预测包括状态变量和状态协方差的误差状态。处理器配置该计算系统使用优化过程处理上述多个图像的第一图像子集，以第一频率提供第一SLAM姿势。处理器配置该计算系统使用纯视觉里程计处理上述多个图像的第二图像子集，以第二频率提供第二SLAM姿势。处理器配置该计算系统使用上述第一SLAM姿势和上述第二SLAM姿势中的至少一个来更新上述状态变量和上述状态协方差。
[0006]相比于传统技术，本专利技术实现了许多优点。例如，本专利技术实施例以帧率为每个图像
提供了SLAM输出，从而SLAM姿势可以用于ESKF过程中的测量更新。此外，动态调整测量噪声协方差可以使SLAM姿势更准确，因为该协方差值表示滤波器对测量的更高置信度。测量更新可以直接来自于视觉SLAM的输出。结合下文和附图更详细地描述了本专利技术的各个实施例及其优点和特征。
附图说明
[0007]图1示出了根据本专利技术实施例的计算机系统的示例，该计算机系统包括用于AR应用的深度传感器和红绿蓝(RGB)光学传感器。
[0008]图2示出了根据本专利技术实施例的使用误差状态卡尔曼滤波(Error
‑
State Kalman Filtering，ESKF)来更新同时定位和建图(simultaneous localization and mapping，SLAM)系统中的状态变量的框图的示例。
[0009]图3示出了根据本专利技术实施例的更新SLAM系统中的状态变量的流程的另一示例。
[0010]图4是示出根据本专利技术实施例的更新SLAM系统中的状态变量的方法的简化流程图。
[0011]图5A示出了根据本专利技术实施例的虹膜(iris)姿势、预测虹膜姿势和ESKF姿势的曲线图的示例。
[0012]图5B是根据本专利技术实施例的预测虹膜姿势和ESKF姿势的导数的曲线图。
[0013]图6A示出了根据本专利技术实施例的虹膜姿势、预测虹膜姿势和ESKF姿势的曲线图的示例。
[0014]图6B示出了根据本专利技术实施例的预测虹膜姿势和ESKF姿势的x导数。
[0015]图7示出了根据本专利技术实施例的示例计算机系统。
具体实施方式
[0016]在以下描述中，将描述各种实施例。出于解释的目的，阐述了具体配置和细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，实施例也可以在没有这些具体细节的情况下实施。此外，为了不使所描述的实施例模糊，可以省略或简化众所周知的特征。
[0017]本专利技术实施例涉及将惯性测量系统(inertial measurement sensor，IMU)和用于增强现实(Augmented Reality，AR)系统的视觉惯性同时定位与建图(Simultaneous Localization and Mapping，SLAM)系统紧密结合。SLAM涉及使用图像拍摄来确定先前未知的真实世界环境并对其建图，以及使用拍摄的图像中的视觉信息确定真实世界中的位置。
[0018]特别地，通过以图像拍摄速率向EKSF过程提供SLAM姿势测量更新，本专利技术实施例提供了相对于传统专利技术的改进。例如，一些实施例组合了优化SLAM姿势和纯视觉里程计SLAM姿势，以提供更高的测量更新速率。进而，ESKF过程可以用于生成更精确的测量更新，支持更高的移动速率，同时保持ESKF处理方法。测量噪声协方差的动态调整可以使得输出的姿势更精确，因为该协方差值表示滤波器对于测量的置信度。测量直接来自于视觉SLAM的输出。将使用优化姿势确定的SLAM和使用纯视觉里程计的SLAM相结合，提供了更高频率的测量位置更新(最大等于图像速率)，从而改进了预测状态，并提供了将IMU信息与视觉SLAM融合以用于更高速应用的解决方案。
[0019]图1示出了根据本专利技术的实施例的计算机系统110的示例，计算机系统110包括用于AR应用的深度传感器112和RGB光学传感器114。图1包括的计算机系统110包括深度传感器112、惯性测量单元(IMU)113、以及RGB光学传感器114，用于包括一个或多个传感器的校准的AR应用。AR应用可以由计算机系统110的AR模块116实现。
[0020]在示例中，计算机系统110代表合适的用户设备，除了深度传感器112和RGB光学传感器114之外，计算机系统110还包括一个或多个图形处理单元(graphical processing unit，GPU)、一个或多个通用处理器(general purpos本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种更新同时定位与建图(SLAM)系统中的状态变量的方法，所述方法包括：从惯性测量单元接收计算的位置，其中，所述计算的位置包括位置、方向、以及速度；从摄像头接收多个图像；使用所述计算的位置预测误差状态，所述误差状态包括状态变量和状态协方差，其中，所述状态变量包括向量，所述向量包括位置、速度、加速度计度量、陀螺仪度量、和重力测量中的一个或多个：使用优化过程处理所述多个图像的第一图像子集，以第一频率提供第一SLAM姿势；使用纯视觉里程计处理所述多个图像的第二图像子集，以第二频率提供第二SLAM姿势；以及使用所述第一SLAM姿势和所述第二SLAM姿势中的至少一个更新所述状态变量和所述状态协方差。2.根据权利要求1所述的方法，其中，提供所述第一SLAM姿势包括通过优化过程优化的第一组状态参数，提供第二SLAM姿势包括绕过所述优化过程的第二组状态参数。3.根据权利要求1所述的方法，其中，拍摄所述多个图像的图像频率等于所述第一频率和所述第二频率之和。4.根据权利要求1所述的方法，其中，使用所述第一SLAM姿势和所述第二SLAM姿势中的至少一个更新所述状态变量和所述状态协方差包括：以图像速率姿势更新所述状态变量和所述状态协方差，包括：使用所述第一SLAM姿势以每秒10次更新的速率更新所述状态变量和所述状态协方差；以及使用所述第二SLAM姿势以每秒20次更新的速率更新所述状态变量和所述状态协方差。5.根据权利要求4所述的方法，其中，所述图像速率姿势还包括所述第一SLAM姿势和所述第二SLAM姿势的交错序列。6.根据权利要求1所述的方法，其中，至少基于所述第一SLAM姿势的第一质量度量或所述第二SLAM姿势的第二质量度量计算所述状态协方差。7.根据权利要求1所述的方法，其中，使用至少所述第一SLAM姿势或所述第二SLAM姿势更新所述状态变量和所述状态协方差包括：当SLAM质量度量丢失时，使用所述计算的位置更新所述状态变量和所述状态协方差。8.一种计算机系统，包括：处理器；惯性测量单元；以及一个或多个存储器，存储有计算机可读指令，当由所述处理器执行时，所述计算机可读指令配置所述计算机系统：从惯性测量单元接收计算的位置，其中，所述计算的位置包括位置、方向、以及速度；从摄像头接收多个图像；使用所述计算的位置预测误差状态，所述误差状态包括状态变量和状态协方差，其中，所述状态变量包括向量，所述向量包括位置、速度、加速度计度量、陀螺仪度量、和重力测量中的一个或多个：使用优化过程处理所述多个图像的第一图像子集，以第一频率提供第一SLAM姿势；
使用纯视觉里程计处理所述多个图像的第二图像子集，以第二频率提供第二SLAM姿势；以及使用所述第一SLAM姿势和所述第二SLAM姿势中的至少一个更新所述状态变量和所述状态协方差。9.根据权利要求8所述的计算机系统，其中，拍摄所述多个图像的图像频率等于所述第一频率和所述第二频率之和。10.根据权利要求8所述的计算机系统，其中，使用所述第一SLAM姿势或所述第二SLAM姿势更新所述状态变量和所述状态协方差包括：以图像速率姿势...

【专利技术属性】
技术研发人员：何鹏，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：