姿态跟踪与图像叠加方法及显示设备技术

本发明专利技术公开了一种姿态跟踪与图像叠加方法及显示设备。所述方法包括：通过预设的扩展卡尔曼滤波器确定显示设备的位姿信息；根据所述位姿信息生成态势图像；根据预先确定的态势图像模型坐标系和显示设备坐标系的坐标系转换关系，确定态势图像和真实场景图像的图像转换关系；根据所述图像转换关系，将生成的态势图像叠加到所述显示设备的真实场景图像中。本发明专利技术显著提升增强现实显示的准确性和安全性。

Attitude tracking and image superposition method and display device

The invention discloses a gesture tracking and image stacking method and a display device. The method includes: determining the position and pose information of the display device by the preset extended Calman filter, generating the situation image according to the position and posture information, and determining the image conversion between the situation image image and the real scene image according to the predetermined coordinate system of the situation image model coordinate and the coordinate system of the display device coordinate system. According to the image conversion relation, the generated situation image is superimposed on the real scene image of the display device. The invention improves the accuracy and safety of augmented reality display significantly.

【技术实现步骤摘要】
姿态跟踪与图像叠加方法及显示设备
本专利技术涉及增强现实
，特别是涉及一种姿态跟踪与图像叠加方法及显示设备。
技术介绍
增强现实显示导航技术，通过叠加影像信息为使用者生提供肉眼不可见的导航或辅助图像信息，能够提高各类应用的可视化效果与应用效率。基于增强现实技术的态势显示与导航系统，能够使使用者同时对真实环境中的目标和导航图像行观察。现有的增强现实导航中，增强现实显示的准确性和安全性较低。
技术实现思路
为了克服上述缺陷，本专利技术要解决的技术问题是提供一种姿态跟踪与图像叠加方法及显示设备，用以增强现实显示的准确性和安全性。为解决上述技术问题，本专利技术中的一种姿态跟踪与图像叠加方法，包括：通过预设的扩展卡尔曼滤波器确定显示设备的位姿信息；根据所述位姿信息生成态势图像；根据预先确定的态势图像模型坐标系和显示设备坐标系的坐标系转换关系，确定态势图像和真实场景图像的图像转换关系；根据所述图像转换关系，将生成的态势图像叠加到所述显示设备的真实场景图像中。为解决上述技术问题，本专利技术中的一种显示设备，包括扩展卡尔曼滤波器、存储器和处理器；所述存储器存储有姿态跟踪与图像叠加计算机程序；所述处理器执行所述计算机程序，以实现如上所述方法的步骤。本专利技术有益效果如下：本专利技术利用扩展卡尔曼滤波器跟踪位置和姿态，得到显示设备的位姿信息，并生成态势图像，根据确定的图像转换关系将态势图像叠加到真实场景图像中，从而显著提升增强现实显示的准确性和安全性。附图说明图1是本专利技术实施例中一种姿态跟踪与图像叠加方法的流程图；图2是本专利技术实施例中一种可选地姿态跟踪与图像叠加方法的流程图；图3是本专利技术实施例中扩展卡尔曼滤波器跟踪位置和姿态的流程图。具体实施方式为了解决现有技术的问题，本专利技术提供了一种姿态跟踪与图像叠加方法及显示设备，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不限定本专利技术。实施例一本专利技术实施例提供一种姿态跟踪与图像叠加方法，如图1所示，所述方法包括：S101，通过预设的扩展卡尔曼滤波器(EKF)确定显示设备的位姿信息；S102，根据所述位姿信息生成态势图像；S103，根据预先确定的态势图像模型坐标系和显示设备坐标系的坐标系转换关系，确定态势图像和真实场景图像的图像转换关系；S104，根据所述图像转换关系，将生成的态势图像叠加到所述显示设备的真实场景图像中。本专利技术实施例中方法在显示设备中执行，例如，头戴式显示设备。本专利技术实施例中真实场景图像可以是显示设备直接通过光学系统拍摄的图像。本专利技术实施例利用扩展卡尔曼滤波器跟踪位置和姿态，得到显示设备的位姿信息，并生成态势图像，根据确定的图像转换关系将态势图像叠加到真实场景图像中，从而显著提升增强现实显示的准确性和安全性；能够协助使用者在应用中更好的判断社会安全态势与真实环境目标的位置，提高社会安全态势感知的效率。在本专利技术实施例中，可选地，所述通过扩展卡尔曼滤波器确定显示设备的位姿信息，包括：通过预设的惯性传感器系统采集偏置量；通过预设的光学系统确定被跟踪目标的速度、三维姿态和三维位置；根据所述偏置量、所述目标的速度、三维姿态和三维位置，通过所述扩展卡尔曼滤波器，确定所述位姿信息。本专利技术实施例中位姿信息包括位置和姿态；所述惯性传感器系统包括多种类型惯性传感器；例如陀螺仪、加速度计和磁传感器。本专利技术实施例通过使用光学系统和惯性传感器系统混合跟踪来融合增强现实安全态势显示与导航中的位姿，利用扩展卡尔曼滤波进行数据融合，集成了更新速度较快的惯性跟踪结果与精度较高的光学跟踪结果，同时兼顾对光学遮挡误差的抑制，提升了跟踪系统的刷新率和鲁棒性，显著提升增强现实显示的准确性和安全性。实施例二本专利技术实施例提供一种可选地姿态跟踪与图像叠加方法，如图1所示，所述方法包括：步骤1、利用FIR(FiniteImpulseResponse，有限长单位冲激响应)滤波方式为惯性传感器误差进行建模；具体包括：通过预设的有限长单位冲激响应滤波器，确定所述惯性传感器系统中各个惯性传感器的偏置误差；根据所述偏置误差，校正各个惯性传感器。详细说，本专利技术实施例利用FIR滤波器去除惯性传感器偏置误差模型中的噪声。本专利技术实施例使用一个阶数为20的FIR滤波器，有效平衡计算速率与精度，其输出表达式为：惯性传感器的偏置量为滤波器的输出，滤波器系数和惯性传感器的测量和理想值是滤波器的输入：通过反复试验确定，将滤波器设计参数定为：采样频率为400Hz，截止频率为50Hz，秩为20。经试验验证，本专利技术实施例提出滤波器参数如下：将上述参数带入滤波器去除噪声后便可得到各惯性传感器测量值中的偏置误差。本专利技术实施例能够利用有限长单位冲击响应滤波器降低惯性传感器误差对跟踪精度的影响，提高跟踪精度。步骤2、基于扩展卡尔曼滤波器的姿态和位置跟踪；包括通过预设的扩展卡尔曼滤波器确定显示设备的位姿信息；根据所述位姿信息生成态势图像。如图3所示，本专利技术实施例使用扩展卡尔曼滤波器实现对目标的姿态和位置跟踪以确定显示设备的位姿信息，包括：通过预设的惯性传感器系统采集偏置量；通过预设的光学系统确定被跟踪目标的速度、三维姿态和三维位置；根据所述偏置量、所述目标的速度、三维姿态和三维位置，通过所述扩展卡尔曼滤波器，确定所述位姿信息。其中，根据所述偏置量、所述目标的速度、三维姿态和三维位置，通过所述扩展卡尔曼滤波器，确定所述位姿信息，包括：根据所述偏置量、所述目标的速度、三维姿态和三维位置构建所述扩展卡尔曼滤波器的状态变量；在所述扩展卡尔曼滤波器的滤波循环中，对所述状态变量进行估计更新，得到所述位姿信息。本专利技术实施例利用惯性传感器系统和光学系统组成混合跟踪系统，有效克服标志点部分遮挡和短时间完全遮挡对位置跟踪产生的影响，提高跟踪系统的鲁棒性。详细说，扩展卡尔曼滤波器的状态变量在每次滤波循环中被估计和更新，本专利技术实施例的状态变量由表示目标三维姿态角的四元数、目标的位置、目标的速度和惯性传感器的偏置组成：q＝[q1q2q3q4]Tp＝[XYZ]v＝[vxvyvz]TB＝[BgxBgyBgzBaxBayBazBmxBmyBmz]T其中，q表示目标的三维姿态，用四元数表示，q1为四元虚部，q2、q3和q4为四元数实部。p表示目标的三维位置，用三维位置坐标表示，X、Y和Z分别代表偏置量在参考坐标系三个坐标轴上的分量。v为被跟踪目标的速度，脚标g、a和m分别代表陀螺仪、加速度计和磁传感器；B为偏置量。系统状态变量按照如下方程进行更新：vk＝vk-1+Δt·akBk＝Bk-1+nb卡尔曼增益矩阵通过如下方程进行更新：其中R为测量噪声协方差矩阵：其中，为系统的先验误差协方差矩阵，H为将系统测量值和状态量进行转换的雅克比矩阵。进而得到系统的测量更新方程：式中，测量值Z为光学系统获取的位置和姿态信息。本专利技术实施例中态势图像可以是社会安全态势导航图像；本专利技术实施例中生成态势图像的方式可以包括：通过由光学和惯性跟踪系统构成的混合跟踪系统捕捉真实场景、使用者和显示设备的实时位置和姿态，将态势信息三维模型与位姿信息进行匹配后能够生成社会安全态势导航图像。步骤3、对空间中两组导航系统坐标系进行转换；具备包括：对态势图像模型坐标系、真实场景图像的参本文档来自技高网...

【技术保护点】
1.一种姿态跟踪与图像叠加方法，其特征在于，所述方法包括：通过预设的扩展卡尔曼滤波器确定显示设备的位姿信息；根据所述位姿信息生成态势图像；根据预先确定的态势图像模型坐标系和显示设备坐标系的坐标系转换关系，确定态势图像和真实场景图像的图像转换关系；根据所述图像转换关系，将生成的态势图像叠加到所述显示设备的真实场景图像中。

【技术特征摘要】
1.一种姿态跟踪与图像叠加方法，其特征在于，所述方法包括：通过预设的扩展卡尔曼滤波器确定显示设备的位姿信息；根据所述位姿信息生成态势图像；根据预先确定的态势图像模型坐标系和显示设备坐标系的坐标系转换关系，确定态势图像和真实场景图像的图像转换关系；根据所述图像转换关系，将生成的态势图像叠加到所述显示设备的真实场景图像中。2.如权利要求1所述的方法，其特征在于，所述通过扩展卡尔曼滤波器确定显示设备的位姿信息，包括：通过预设的惯性传感器系统采集偏置量；通过预设的光学系统确定被跟踪目标的速度、三维姿态和三维位置；根据所述偏置量、所述目标的速度、三维姿态和三维位置，通过所述扩展卡尔曼滤波器，确定所述位姿信息。3.如权利要求2所述的方法，其特征在于，所述根据所述偏置量、所述目标的速度、三维姿态和三维位置，通过所述扩展卡尔曼滤波器，确定所述位姿信息，包括：根据所述偏置量、所述目标的速度、三维姿态和三维位置构建所述扩展卡尔曼滤波器的状态变量；在所述扩展卡尔曼滤波器的滤波循环中，对所述状态变量进行估计更新，得到所述位姿信息。4.如权利要求2所述的方法，其特征在于，所述通过预设的惯性传感器系统采集偏置量之前，包括：通过预设的有限长单位冲激响应滤波器，确定所述惯性传感器系统中各个惯性传感器的偏置误差；根据所述偏置误差，校正各个惯性传感器。5.如权利要求2所述的方法，其特征在于，所述根据预先确定的态势图像模型坐标系和显示设备坐标系的坐标系转换...

【专利技术属性】
技术研发人员：贺长宇，张红，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：北京,11