飞行训练AR系统中显示屏的定位与跟踪方法技术方案

本发明专利技术提出了一种飞行训练AR系统中显示屏的定位与跟踪方法，包括：利用基于颜色与形状的标志点识别获取标记点的图像坐标；基于屏幕尺寸、标记点位置，进行标记点二维到三维空间的映射，并得到屏幕的空间位置。按照设置的时间间隔，重复上述过程重新解算屏幕位置。本发明专利技术根据基于颜色与形状的人工标记点检测，快速排除视野复杂画面中的无用颜色，能使标记点检测具有更高的准确率，进而提高了屏幕定位的准确率。本发明专利技术通过在实时运行中按照一定时间间隔重复检测更新屏幕三维位置，辅助HoloLens的SLAM方法，提高了跟踪的稳定性。

【技术实现步骤摘要】
飞行训练AR系统中显示屏的定位与跟踪方法
本专利技术属于增强现实训练领域，具体为一种飞行训练AR系统中显示屏的定位与跟踪方法。
技术介绍
随着无人机技术的发展及其在侦察、作战上的应用，如何方便快捷地为飞行员提供更多的飞行训练模拟信息，以满足日益增长的飞行员操作训练需求，使他们能够更好更直观地了解无人机操作过程，成为一个急需解决的问题。基于增强现实的飞行训练模拟技术能够在飞行员看到的真实世界中的无人机遥操作场景上叠加虚拟的训练信息、操作规范、特情任务等。增强信息按照操作进度与需求以文字、图形图像等方式准确地显示给飞行员，指导飞行员完成任务，模拟特情发生的场景予以训练。构造增强现实场景时最重要的问题是获取摄像机相对于真实场景的位置和姿态，只有实时求得摄像机的位姿信息，才能用于计算虚拟模型在真实场景中的空间状态及相应的二维投影，从而将三维虚拟物体无缝地叠加到现实环境中。在无人机飞行员特情训练的场景中，将特情提示信息与飞机状态效果叠加在显示屏上是增强现实的一种主要辅助方式。由于HoloLens深度检测的最佳距离是2-5m，其在近本文档来自技高网...

【技术保护点】
1.一种飞行训练AR系统中显示屏的定位与跟踪方法，其特征在于，具体步骤为：/n步骤1：利用基于颜色与形状的标志点识别获取标记点的图像坐标；/n步骤2：基于屏幕尺寸、标记点位置，进行标记点二维到三维空间的映射，得到标记点的三维坐标，进而得到屏幕的空间位置；/n步骤3：按照设置的时间间隔，重复步骤1、2重新解算屏幕位置。/n

【技术特征摘要】
1.一种飞行训练AR系统中显示屏的定位与跟踪方法，其特征在于，具体步骤为：
步骤1：利用基于颜色与形状的标志点识别获取标记点的图像坐标；
步骤2：基于屏幕尺寸、标记点位置，进行标记点二维到三维空间的映射，得到标记点的三维坐标，进而得到屏幕的空间位置；
步骤3：按照设置的时间间隔，重复步骤1、2重新解算屏幕位置。


2.根据权利要求1所述的飞行训练AR系统中显示屏的定位与跟踪方法，其特征在于，利用基于颜色与形状的标志点识别获取标记点的图像坐标的具体方法为：
步骤1.1：将标记点设置在屏幕预设区域；
步骤1.2：将AR眼镜获取到的图像转换到HSV空间，通过图像处理过滤相机获取的图像中的颜色信息，留下目标颜色；
步骤1.3：对过滤颜色后的图像进行腐蚀操作；
步骤1.4：进行轮廓提取，计算轮廓面积，拟合轮廓形状，筛选得到面积与形状皆符合预设的色块；
步骤1.5：对步骤1.4得到的色块轮廓求解质心，得到色块区域中心点，即标记点图像坐标。


3.根据权利要求2所述的飞行训练AR系统中显示屏的定位与跟踪方法，其特征在于，所述标记点为4个，对称设置在屏幕中心线两侧，且位于屏幕横框上。


4.根据权利要求2所述的飞行训练AR系统中显示屏的定位与跟踪方法，其特征在于，RGB颜色空间到HSV颜色空间的转换公式如下：
V＝max(R,G,B)


<...

【专利技术属性】
技术研发人员：孙艾琳，李蔚清，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32