基于虚拟现实的发动机试车模拟培训全任务系统及方法技术方案

本发明专利技术公开了基于虚拟现实的发动机试车模拟培训全任务系统，涉及发动机试车领域，特别涉及及方法；其基于传感器的跟踪注册技术、基于视觉的跟踪注册技术、显示技术和交互技术，解决模型与实际模型重合不漂移的定位问题，并有效识别虚拟开关的位置，以及实现对虚拟开关的状态的精确的判断，进而实现可视化诱导式的发动机试车操作流程，更好的模拟发动机试车训练。试车训练。试车训练。

【技术实现步骤摘要】
基于虚拟现实的发动机试车模拟培训全任务系统及方法


[0001]本专利技术涉及发动机试车领域，特别涉及基于虚拟现实的发动机试车模拟培训全任务系统及方法。

技术介绍

[0002]现有培训训练教学当中，对于复杂结构零件(起落架)和典型工序(发动机试车)等其工艺过程不易熟练掌握和巩固。
[0003]一是记忆难，传统工艺中文字、图表、工具、设备、工序等篇幅冗长，繁杂难记；
[0004]二是学习不连续，受待修品修理流程和周期限制，无法在需要时随时在工作现场对实物产品按工艺要求的内容进行操作演练；
[0005]三是巩固难，受产品体积、重量和测试资源限制，不能特殊工艺过程(试车)按需重复进行。这使技术员按工艺操作变成了纸上谈兵，应该做却难以真实做到，尤其是复杂产品和工序则难上加难。
[0006]若结合现虚拟现实技术来进行试车培训，能否能准确实时追踪座舱环境，并准确识别操作动作，则是目前主要难以攻破的技术难点。

技术实现思路

[0007]本专利技术的目的在于避免现有技术中的不足之处而提供一种能够快速且准确地完成术语标注的技术。
[0008]本专利技术的目的通过以下技术方案实现：
[0009]因此，根据本专利技术公开的一个方面，提供了基于虚拟现实的发动机试车模拟培训全任务系统，包括：头盔显示器和试车装置；头盔显示器与试车装置连接；头盔显示器包括传感器组、摄像头和显示器；试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、场景数据库、和虚拟图像生成模块；场景分析模块分别与传感器组、摄像头以及场景数据库连接，通过场景数据库获取基准图像、通过摄像头获取对比图像，以及通过传感器组获取头盔显示器的位置变化信息；场景分析模块用于对对比图像与各个基准图像进行对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像；模型生成模块用于根据参考图像重建三维虚拟模型，并确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵；其中，三维虚拟模型包括虚拟开关；开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新虚拟开关的状态参数；虚拟图像生成模块与显示器连接，用于根据三维虚拟模型生成虚拟图像，并通过显示器进行显示。
[0010]具体的，场景分析模块还用于识别并提取操作者的手势图像。
[0011]更具体的，三维虚拟模型还包括虚拟手模型；虚拟手模型包括第一碰撞体；三维虚拟模型还包括虚拟手模型；虚拟开关包括第二碰撞体；开关状态识别模块与模型生成模块连接，用于通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。
[0012]以上的，试车装置还包括：训练信息数据库和工作流生成模块；训练信息数据库用于存储训练信息；工作流生成模块用于根据获取的训练信息生成对应的工作流程信息；虚拟图像生成模块根据工作流程信息生成对应的虚拟图像。
[0013]进一步的，工作流程信息包括语音提示信息；头盔显示器还包括相互电连接的语音交互模块和语音播报模块；工作流生成模块与语音交互模块电连接，通过所述语音播报模块播报语音提示信息。
[0014]根据本专利技术的另一面，还提供一种基于虚拟现实的开关状态识别方法，应用于权上述的基于虚拟现实的发动机试车模拟培训全任务系统，用于识别虚拟开关的开关状态，包括以下步骤：
[0015]初始化对比图像，以及初始化虚拟开关的状态参数；其中，对比图像为实时视频流中提取的图像；
[0016]将对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像；
[0017]确定虚拟开关在对比图像以及参考图像中分别对应的特征点，并计算出对比图像以及参考图像中的各对特征点的偏移值；
[0018]根据各对特征点的偏移值更新虚拟开关的状态参数。
[0019]具体的，将对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像，还包括：
[0020]划分出对比图像中的各个轮廓，根据各个轮廓的面积和长宽比进行筛选，筛选出与虚拟开关对应的轮廓；
[0021]通过边缘检测算法提取对比图像内的数字表边缘，并根据数字表边缘确定所有数字表区域，并提取各个数字表区域内的数字表特征。
[0022]更具体的，提取各个数字表区域内的数字表特征之后，还包括：将数字表特征与预存储的数字表模板进行匹配，确定各个数字表区域对应的数字表类型，并根据数字表类型对应的读取规则提取各个数字表内读数。
[0023]另一具体的，确定虚拟开关在对比图像以及参考图像中分别对应的特征点，并计算出对比图像以及参考图像中的各对特征点的偏移值还包括：
[0024]创建虚拟手模型；其中，虚拟手模型包括第一碰撞体；虚拟开关包括第二碰撞体；
[0025]根据各对特征点的偏移值更新虚拟开关的状态参数，还包括：通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。
[0026]以上的，初始化对比图像，以及初始化虚拟开关的状态参数包括：
[0027]捕捉头盔显示器移动前和移动后的位置，并计算出对比图像的参考坐标系相对于世界坐标系的第一空间变换矩阵；
[0028]获取目标参照物对应的若干个基准点的目标区域，并计算出目标参照物的各个基准点参考坐标系对于世界坐标系的第二空间变换矩阵；
[0029]根据第一空间变换矩阵和第二空间变换矩阵，计算出虚拟图像的参考坐标系与目标参照物对应的各个基准点的参考坐标系之间的第三空间变换矩阵；
[0030]根据第三空间变换矩阵重建三维虚拟模型，确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵；其中，三维虚拟模型包括虚拟开关；
[0031]计算出头盔显示器的标定矩阵。
[0032]本专利技术的有益效果：基于传感器的跟踪注册技术、基于视觉的跟踪注册技术、显示技术和交互技术，解决模型与实际模型重合不漂移的定位问题，并有效识别虚拟开关的位置，以及实现对虚拟开关的状态的精确的判断，进而实现可视化诱导式的发动机试车操作流程，更好的模拟发动机试车训练。
附图说明
[0033]通过结合附图对于本专利技术公开的示例性实施例进行描述，可以更好地理解本专利技术，在附图中：
[0034]图1所示的是根据本专利技术公开实施例一的基于虚拟现实的发动机试车模拟培训全任务系统的原理方框示意图；
[0035]图2所示的是根据本专利技术公开实施例一的一种基于虚拟现实的开关状态识别方法的示意性流程图；
[0036]图3所示的是根据本专利技术公开实施例一的计算设备的硬件结构示意图。
具体实施方式
[0037]以下将描述本专利技术的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于，包括：头盔显示器和试车装置；所述头盔显示器与所述试车装置连接；所述头盔显示器包括传感器组、摄像头和显示器；所述试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、场景数据库、和虚拟图像生成模块；所述场景分析模块分别与所述传感器组、摄像头以及所述场景数据库连接，通过所述场景数据库获取基准图像、通过摄像头获取对比图像，以及通过所述传感器组获取头盔显示器的位置变化信息；所述场景分析模块用于对所述对比图像与各个所述基准图像进行对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像；所述模型生成模块用于根据所述参考图像重建三维虚拟模型，并确定所述三维虚拟模型在所述虚拟图像坐标下的空间位置矩阵；其中，所述三维虚拟模型包括虚拟开关；所述开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新所述虚拟开关的状态参数；所述虚拟图像生成模块与所述显示器连接，用于根据所述三维虚拟模型生成虚拟图像，并通过所述显示器进行显示。2.根据权利要求1所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：所述场景分析模块还用于识别并提取操作者的手势图像。3.根据权利要求2所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：所述三维虚拟模型还包括虚拟手模型；所述虚拟手模型包括第一碰撞体；所述虚拟开关包括第二碰撞体；所述开关状态识别模块与所述模型生成模块连接，用于通过识别所述第一碰撞体与所述第二碰撞体的接触状态，更新所述虚拟开关的状态参数。4.根据权利要求1至3任一项所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：所述试车装置还包括：训练信息数据库和工作流生成模块；所述训练信息数据库用于存储训练信息；所述工作流生成模块用于根据获取的训练信息生成对应的工作流程信息；所述虚拟图像生成模块根据所述工作流程信息生成对应的虚拟图像。5.根据权利要求4所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：所述工作流程信息包括语音提示信息；所述头盔显示器还包括相互电连接的语音交互模块和语音播报模块；所述工作流生成模块与所述语音交互模块电连接，通过所述语音播报模块播报所述语音提示信息。6.一种基于虚拟现实的开关状态识别方法，应用于权利要求1至5任一项所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于，包括以下步骤：
初始化对比图像，以及初始化虚拟开关的状态参数；其中，对比图像为实时视...

【专利技术属性】
技术研发人员：廖子骁，龚彬峻，林志耿，宋阳，
申请(专利权)人：天利航空科技深圳有限公司，
类型：发明
国别省市：