一种基于AR设备的信息同步方法及系统技术方案

本发明专利技术涉及基于AR设备的信息同步方法及系统，属于航空技术领域,该方法包括：利用图像匹配定位和惯性导航定位确定AR设备在当前时刻T

【技术实现步骤摘要】
一种基于AR设备的信息同步方法及系统
本专利技术涉及航空
，特别涉及一种基于AR设备的信息同步方法及系统。
技术介绍
SVS系统通过对飞机外部的地形、障碍物以及跑道等环境的模拟，在低能见度环境下为飞行员提供情形认识与飞行辅助。但是在实现本专利技术的过程中，专利技术人发现现有的合成视景系统SVS至少存在如下问题：合成视景系统SVS的呈现信息缺少飞行指引信息提示(例如：机场位置提示、剩余跑道距离提示、擦机尾提示、低能见度引导起飞，III类进近偏差)，没有在降落过程中提供给飞行员,因此现阶段合成视景系统SVS在提高飞行员态势感知能力、辅助着陆方面发挥的作用并不大。实用效能的缺失，导致FAA和CAAC都尚未启动针对合成视景系统SVS降低起飞和降落的最低天气标准的特殊批准程序；同时在目前的民机系统中，合成视景系统SVS显示输出只能呈现在下视显示器上，其显示方式与位置忽视了人体观察习惯，尤其忽视了在飞机进行高速贴地/近地运动时观察重心转换对于飞行员有效操作的影响。总结来说，显示位置位于下视显示器的合成视景系统SVS具有两个主要问题：基于下视显示器的布局位置，其无法在目视飞行状态下为飞行员提供持续的飞行辅助，这无法满足民航安全条例中关于着陆目视飞行条件的相关规定；同样是由于下视显示器的空间布局，使得其无法满足合成视景系统SVS所追求的“所见即所得”标准，可能存在并难以纠正虚拟图景与机外环境的“脱扣”情况，进而可能造成安全隐患。平视导视系统HGS是在平视显示器上进行飞行数据、指引信息、辅助信息的显示，并且可以和外部视景叠加，增强飞行员情景意识，但是在实现本专利技术的过程中，专利技术人发现平视导视系统HGS至少存在如下问题：平视导视系统不具备三维重构与实时地形视景的生成能力，当遭遇恶劣天气时，难以为飞行员提供更好的情景意识。以飞行头盔形式存在的军用增强现实设备利用其搭载的HMD为飞行员提供实时的全视角战场环境告知与飞行辅助信息显示，但是在实现本专利技术的过程中，专利技术人发现至少存在如下问题：由于功能差异，其系统重点在于与导航系统、雷达系统与火控系统的协调搭配，不会/几乎不会存储巨量的地面场景、障碍物和跑道等信息，同时其功能上并不具有合成视景系统SVS的三维重构与图像合成能力，仅能作为技术手段参考项因此，在技术和经济性可达的情况下，应为飞行员提供全视场的合成视景信息与飞行指引信息，以实现在低可见度环境下的目视参考飞行。
技术实现思路
本专利技术实施例的目的是提供一种基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，以大幅度增强飞行员情景意识和态势感知能力。根据本专利技术实施例的一个方面，本专利技术的实施例提供了一种基于AR设备的信息同步方法，应用于机载计算机系统，包括：实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；将所述预测视景虚拟模型画面同步至AR设备以显示。优选地,在所述构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：获取AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。优选地,所述基于预定定位方式，确定AR设备在Tn-1时间点时，在驾驶舱中的相对位姿的步骤包括：确定AR设备在驾驶舱中的初始位姿；获取所述AR设备在初始位姿下采集的初始图像；获取AR设备在采样时间点Cn时采集的样本图像；判断是否存在一个采样时间点Cn与Tn-1时间点重合；若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；基于AR设备在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿。优选地,所述方法还包括：若不存在一个采样时间点Cn与Tn-1时间点重合，则基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；基于AR设备在时间段TkTn-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn-1。优选地,所述方法还包括：若不存在一个采样时间点Cn与Tn-1时间点重合，则获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；基于AR设备在驾驶舱中的初始位姿和采样时间点Cn的样本图像相对于所述初始图像的位姿信息，确定在采样时间点Cn时AR设备在驾驶舱中的相对位姿；基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；基于AR设备在时间段TkTn-1的相对加速度和相对角速度、所述AR设备在该采样时间点Cn时在驾驶舱中的相对位姿，以及该采样时间点Cn至Tn-1时间点的时间间隔，利用惯性导航定位计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿。优选地,所述获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面包括:基于与驾驶舱相对应的驾驶舱三维模型、Tn时间点时的全角度视景虚拟模型画面及投影定理，获取Tn时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。优选地,所述确定AR设本文档来自技高网...

【技术保护点】
一种基于AR设备的信息同步方法，其特征在于，应用于机载计算机系统，包括：实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；基于预定定位方式，确定AR设备在T

【技术特征摘要】
1.一种基于AR设备的信息同步方法，其特征在于，应用于机载计算机系统，包括：实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；基于所述Tn-1时间点的上一时间点Tn-2对应的视景虚拟模型画面在AR设备上的显示时间点Td，获取传输延时Td-Tn-2；基于所述传输延时Td-Tn-2、AR设备在时间点Tk至时间点Tn-1这一时间段TkTn-1相对于飞行设备的相对加速度和相对角速度及AR设备在Tn-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿；基于AR设备在Tn时间点时在驾驶舱中的相对位姿，确定AR设备在Tn时间点时的视角方向；基于AR设备在Tn时间点时的视角方向，从Tn时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；将所述预测视景虚拟模型画面同步至AR设备以显示。2.根据权利要求1所述的方法，其特征在于，在所述构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在Tn时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：获取AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息；基于获取的AR设备在时间段TkTn-1的加速度信息和角速度信息，和飞行设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1，相对于飞行设备的相对加速度信息和相对角速度信息。3.根据权利要求1所述的方法，其特征在于，所述基于预定定位方式，确定AR设备在Tn-1时间点时，在驾驶舱中的相对位姿的步骤包括：确定AR设备在驾驶舱中的初始位姿；获取所述AR设备在初始位姿下采集的初始图像；获取AR设备在采样时间点Cn时采集的样本图像；判断是否存在一个采样时间点Cn与Tn-1时间点重合；若存在，则基于所述初始图像和图像匹配定位算法，获取所述Tn-1时间点的样本图像相对于所述初始图像的位姿信息；基于AR设备在驾驶舱中的初始位姿和Tn-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若不存在一个采样时间点Cn与Tn-1时间点重合，则基于飞行设备在时间段TkTn-1的加速度信息和角速度信息，和AR设备在时间段TkTn-1的加速度信息和角速度信息，计算AR设备在时间段TkTn-1的相对加速度和相对角速度；基于AR设备在时间段TkTn-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T0时间点至Tn-1时间点的时间间隔，利用惯性导航方法计算AR设备在Tn-1时间点时在驾驶舱中的相对位姿，其中，T0时间点为所述初始位姿对应的初始时间点，T0＜Tk＜Tn-1。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：若不存在一个采样时间点Cn与Tn-1时间点重合，则获取图像采集模块在Tn-1时间点之前的采样时间点Cn采集的样本图像；基于所述初始图像和图像匹配定位算法，获取所述采样时间点Cn的样本图像相对于所述初始图像的位姿信息；基于...

【专利技术属性】
技术研发人员：蒋欣，曾锐，张炯，刘玥，
申请(专利权)人：中国商用飞机有限责任公司北京民用飞机技术研究中心，中国商用飞机有限责任公司，
类型：发明
国别省市：北京,11