训练器和测试环境中具有虚拟化的虚拟现实制造技术

本申请涉及训练器和测试环境中具有虚拟化的虚拟现实，并公开了用于虚拟现实(VR)飞行器测试和训练环境的系统和方法，该系统和方法通过使用将沉浸式VR环境引擎与虚拟飞行管理计算机(FMC)耦接的通信信道，同时利用高质量的沉浸式环境引擎和在虚拟FMC上运行的操作飞行程序(OFP)。飞行模拟器、测试环境核心组件以及导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化模块中的任何一项的现有投资都可以有利地用于提供高质量，逼真的测试和训练能力。

Virtual reality with virtualization in trainer and test environment

【技术实现步骤摘要】
训练器和测试环境中具有虚拟化的虚拟现实
技术介绍
随着这些年来计算机处理能力不断增强，使用低成本组件创建引人注目的增强现实(AR)、混合现实(MR)和虚拟现实(VR)平台已成为可能。例如，AR、MR和VR平台(统称为VR)可以经常使用为图形和用户控件提供应用编程接口(API)的游戏引擎。然而，这些游戏引擎在与环境中的对象进行交互方面保真度有限。VR游戏引擎的保真度有限的示例是，虚拟环境中的控制面板通常显示为多边形，该多边形具有位映射到该多边形的纹理，使得它类似于物理控制面板，但不能在全部可能输入范围内提供逼真的交互体验。在一些情况下，纹理位图是静态的，或模拟的控制面板仅具有有限的功能。因此，需要在训练器和测试环境中具有虚拟化的更逼真的虚拟现实。
技术实现思路
下面参考下面列出的附图详细描述所公开的示例。提供以下
技术实现思路
以说明本文公开的一些示例。然而，这并不意味着将所有示例限制为任何特定的配置或操作顺序。本文公开的一些方面和示例针对虚拟现实(VR)飞行器测试和训练环境，其通过使用将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，同时利用高质量的沉浸式环境引擎(可能是VR游戏引擎)和在虚拟机上实现的虚拟飞行管理计算机(FMC)上运行的操作飞行程序(OFP)。飞行模拟器、测试环境组件以及导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化模块中的任何一项的现有投资都可以有利地用于提供高质量，逼真的测试和训练能力。本文公开的一些方面和示例针对VR环境平台，其具有：沉浸式VR环境引擎，该沉浸式VR环境引擎具有飞行器控制和显示单元并提供飞行器的沉浸式VR环境；在运行OFP的虚拟机上实现的虚拟FMC；以及将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，该通信信道仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC。附图说明下面参考下面列出的附图详细描述公开的示例：图1是示出根据本公开的方面的用于提供测试环境的虚拟现实(VR)环境平台的框图。图2是示出根据本公开的方面的用于提供训练环境的VR环境平台的框图。图3是根据本公开的方面的在虚拟机上实现的虚拟飞行管理计算机(FMC)的图示。图4是示出根据本公开的方面的虚拟化系统的框图。图5是示出根据本公开的方面的在训练器和测试环境中向虚拟现实提供虚拟化的过程的流程图。图6A是根据本公开的方面的服务器合并的图示。图6B是根据本公开的方面的虚拟化的图示。图7是根据本公开的方面可以被虚拟化的飞行器驾驶舱的图示。在整个附图中，对应的附图标记表示对应的部分。具体实施方式将参考附图详细描述各种实施例。在所有附图中，将尽可能使用相同的附图标记来表示相同或相似的部分。贯穿本公开而做出的与特定示例和实施方式有关的参考仅出于说明性目的而提供，而不意味着限制所有示例，除非有相反的指示。与游戏引擎相比，功能齐全的飞行模拟器具有高保真的硬件模型，诸如与多用途计算机显示单元(MCDU)(也称为多用途控制和显示单元)进行通信的飞行管理计算机(FMC)。为了达到期望的逼真水平，通常使用复杂的模型来模拟MCDU和FMC，或通过使用实际的飞行硬件或代理飞行硬件来实现MCDU和FMC。然而，这些选项的生产成本昂贵，并且依赖于开发人员的技能。同时，现有的低级训练设备是基于模型的，有时会补充模仿驾驶舱、驾驶舱、地面站等的物理结构。当存在时，这些物理模仿设备与训练的实际设备的布局接近，但在大多数其他情况下可能与实际布局不匹配。此外，子系统模型的保真度不如虚拟机(VM)。通常通过查看子系统的输入/输出并创建软件以从输入/输出的角度摹拟该子系统的行为来创建模型。VM也生成输入/输出行为，因此可能看起来类似，尽管对于VM，该行为是由实际的未修改或最小修改的飞行软件二进制可执行文件(executable)(诸如，操作飞行程序(OFP))驱动的。例如，FMCOFP可以在VM上运行。与更简单的模型相比，运行FMC的OFP(本文也称为“虚拟FMC”)的VM可以在训练环境中提供更高的保真度，并且还可以使人相信在训练器中观察到的行为与训练器代表的物理设备相同。然后，有可能通过使用低成本的，有吸引力的，沉浸式的，高保真度的训练平台来减少对昂贵的全运动训练器的需求(通常花费超过1000万美元)。因此，本公开的示例提供了虚拟现实(VR)飞行器测试和训练环境，其通过使用将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，同时利用高质量的沉浸式环境引擎(可能是VR游戏引擎)和在虚拟FMC上运行的OFP。飞行模拟器、测试环境组件以及导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化模块中的任何一项的现有投资都可以有利地用于提供高质量，逼真的测试和训练能力。利用计算机处理能力的最新改善以及VR和虚拟化技术的进步来创建新型的训练环境。前端VR世界为用户提供沉浸式的逼真的视觉体验，而VR与实时计算机图形的组合使用户能够以与真实设备相同的方式感知虚拟世界并与之交互。VR世界与由模型和VM组成的高保真后端的集成提供了几乎等同于物理硬件的动态行为。VM允许在训练设备中使用实际未修改或最少修改的飞行软件二进制文件和数据库，从而使人相信在训练器中观察到的内容与实际的飞行器相同。另外，通过尽早创建人机回圈(human-in-the-loop)测试，测试环境是可行的。由于驾驶舱是在VR世界中创建的，因此可以相对便宜地对驾驶舱进行原型制作和修改，并最终用作物理驾驶舱的设计输入。通常，在为物理系统开发需求时，可以相对快速地创建和测试模型和虚拟机。各种示例解决了与不同FMC/MCDU使用不同协议进行通信(例如ARINC429、MIL-STD-1553、以太网)有关的一个或多个问题。并且，可以根据远程终端(RT)和飞行器类型对消息进行不同的打包。本文公开的一个或多个示例使用允许以统一方式打包/解压消息的通信信道。结果，通信信道可以被并入在不同的处理引擎中，例如游戏引擎，诸如虚幻引擎4。这样，对于本公开的一个或多个示例，编码执行一次，并且可以以更少的改变和更高的一致性在不同的FMC上使用。这减少了错误/调试时间和费用。现在将描述各种实施例的示例。应当理解，尽管本文描述的各种示例涉及飞行器环境，但是本公开可以在其他环境中实现。例如，本文描述的示例可以结合需要训练的任何复杂系统来实现，诸如航天器、汽车、船、医疗设备等。因此，本文描述的各种组件可在许多其他系统中操作。图1是示出根据本公开的方面的用于提供测试环境的示例性VR环境平台100的框图。VR环境平台100包括沉浸式VR环境引擎102，该沉浸式VR环境引擎102包括飞行器控制和显示单元并提供飞行器驾驶舱的沉浸式VR环境。例如，沉浸式VR环境引擎102包括MCDU104、模式控制面板(MCP)106、显示系统(DS)108，诸如可从爱荷华州锡达拉皮兹市的RockwellCollins公司(RockwellCollinsofCedarRapids,Iowa)获得的显示系统(MDS)、无线电调谐本文档来自技高网...

【技术保护点】
1.一种虚拟现实即VR环境平台，其包括：/n沉浸式VR环境引擎(102)，其包括飞行器控制和显示单元(104、106、108、112、114)，并提供飞行器的沉浸式VR环境；/n虚拟飞行管理计算机即虚拟FMC(160)，其运行操作飞行程序即OFP(310)；以及/n通信信道(122)，其将所述沉浸式VR环境引擎与所述虚拟FMC耦接，所述通信信道仿真FMC通信协议以准许所述沉浸式VR环境引擎运行所述虚拟FMC。/n

【技术特征摘要】
20181119 US 16/195,1171.一种虚拟现实即VR环境平台，其包括：
沉浸式VR环境引擎(102)，其包括飞行器控制和显示单元(104、106、108、112、114)，并提供飞行器的沉浸式VR环境；
虚拟飞行管理计算机即虚拟FMC(160)，其运行操作飞行程序即OFP(310)；以及
通信信道(122)，其将所述沉浸式VR环境引擎与所述虚拟FMC耦接，所述通信信道仿真FMC通信协议以准许所述沉浸式VR环境引擎运行所述虚拟FMC。


2.根据权利要求1所述的VR环境平台，还包括：
头戴式显示器即HMD(182)，其用于显示沉浸式VR环境的视图。


3.根据权利要求1至2中任一项所述的VR环境平台，还包括：
虚拟互动点(104、106、108、110、112、114)，其提供用于所述沉浸式VR环境的飞行器驾驶舱控制输入。


4.根据权利要求1至3中任一项所述的VR环境平台，还包括：
物理交互点(172)，其模拟飞行器控制并向所述VR环境平台的用户(180)提供物理反馈，或从所述用户接收物理输入。


5.根据权利要求1至4中任一项所述的VR环境平台，还包括：
飞行模拟器组件(150)，其与所述沉浸式VR环境引擎和所述虚拟FMC通过接口连接。


6.根据权利要求5所述的VR环境平台，还包括：
教练员控制台组件(230)，其与所述飞行模拟器组件通过接口连接。


7.根据权利要求5至6中任一项所述的VR环境平台，还包括：
测试环境核心组件(130)，其与所述飞行模拟器组件、所述沉浸式VR环境引擎和所述虚拟FMC通过接口连接。


8.根据权利要求7所述的VR环境平台，还包括：
至少一个组件，其与所述测试环境核心组件通过接口连接，并选自至少包括以下项的列表：
导航模拟(132)、数据链路模拟(134)、空中交通控制模拟(136)和飞行可视化(138)。
...

【专利技术属性】
技术研发人员：J·N·霍特拉，L·J·凯尔，A·R·亨特，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国;US