记录的物理交互回放制造技术

本公开涉及记录的物理交互回放。描述了一种方法。所述方法包括：获得关于一个或更多个物理部件执行的一个或更多个物理交互的记录；在模拟环境中回放所述记录，使得在所述模拟环境中表示所述一个或更多个物理交互；以及在所述模拟环境中，检测与所述模拟环境的一个或更多个物理部件的用户交互。该方法还包括确定用户交互与记录中的一个或更多个物理交互中的至少一个对应的物理交互是否一致，并且响应于这样的一致性，继续在模拟环境中回放记录。继续在模拟环境中回放记录。继续在模拟环境中回放记录。

【技术实现步骤摘要】
记录的物理交互回放


[0001]本专利技术涉及记录的物理交互的回放，并且更具体地涉及通过物理部件的致动和/或图像的显示来在模拟环境中表示记录的物理交互。

技术介绍

[0002]已经开发了用于训练用户以执行各种任务、操作设备或用于其他目的的各种训练平台。例如，已经开发了用于教导未来飞行员操作飞行器的训练平台，所述训练平台提供物理模拟器，其中可以操纵诸如操纵杆、踏板、旋转拨盘和其他控件之类的物理部件以模拟操作飞行器的体验。物理模拟器通常包括产生表示虚拟化周围环境的图像的显示系统，使得由物理模拟器的用户提供的输入被反映在由显示系统输出的图像所表示的虚拟化飞行器的操作中。
[0003]现有的物理模拟器(包括被设计用于训练飞行器飞行员的那些物理模拟器)造成各种缺陷，这些缺陷可能不利地影响训练并且完全排除一些类型的训练。物理模拟器的一个限制是，物理模拟器通常需要两个飞行员存在于同一训练设备中，并有一名飞行教员在场以完成机组训练活动。这对可以进行训练的位置和时间两者都存在限制，因为所有方都需要存在于对模拟设备进行访问的相同的物理位置处。此外，典型的物理模拟器提供对训练内容的有限支持，所述训练内容通常通过呈现在显示系统上的音频和/或视频来递送。这种方法给模拟器用户带来了从这样的内容解释指令的负担，这经常涉及可能难以仅根据视听指令来复制的复杂且精细的马达动作。这些复杂且精细的马达动作通常是学习飞行器操作程序的基础，诸如在飞行器的起飞或着陆中执行的操纵杆操纵，并且频繁地需要准确的再现以成功地实现。不仅通过视听装置递送训练内容不能匹配物理模拟器的沉浸式性质，这种递送也不能以触觉或本体感受方式传达指令并在模拟器用户尝试根据指令执行动作时提供反馈。
[0004]鉴于以上所述，在模拟环境中表示记录的物理交互并且以沉浸式和本体感受方式表示记录的物理交互存在挑战。

技术实现思路

[0005]为了解决上述问题，根据本公开的一个方面，提供了一种方法。在这方面，该方法包括：获得关于一个或更多个物理部件执行的一个或更多个物理交互的记录；在模拟环境中，回放记录，使得在模拟环境中表示一个或更多个物理交互；以及在模拟环境中，检测与模拟环境的一个或更多个物理部件的用户交互。在该方面，该方法还包括确定用户交互是否与记录中一个或更多个物理交互中的至少一个对应的物理交互一致，并且响应于这样的一致性，继续在模拟环境中回放记录。
[0006]本公开的另一方面涉及一种计算系统。在这方面，计算系统包括逻辑子系统和存储子系统，该存储子系统包括如下的指令，即，该指令可由逻辑子系统执行以获得关于一个或更多个物理部件在模拟环境中执行的一个或更多个物理交互的记录，回放记录，使得一
个或更多个物理交互在模拟环境中表示，并且在模拟环境中，检测与模拟环境的一个或更多个物理部件的用户交互。在该方面中，存储子系统还包括如下的指令，即，该指令可由逻辑子系统执行以确定用户交互是否与记录中一个或更多个物理交互中的至少一个对应物理交互一致，并且响应于这种一致性，继续在模拟环境中回放记录。
[0007]本公开的另一方面涉及一种方法。在该方面，该方法包括：获得关于一个或更多个物理部件在记录环境中执行的一个或更多个物理交互的记录；将记录环境映射到要回放记录的模拟环境；以及在模拟环境中，回放记录，使得在模拟环境中通过显示虚拟化身来表示一个或更多个物理交互，该虚拟化身被动画化以表示执行一个或更多个物理交互的人体的至少一部分，或者用于一个或更多个物理部件中的每个物理部件致动模拟环境中的对应物理部件。在该方面中，所述方法还包括：在所述模拟环境中，检测与所述模拟环境的一个或更多个物理部件的用户交互；确定所述用户交互是否与所述记录中的所述一个或更多个物理交互中的至少一个对应的物理交互一致；以及响应于这样的一致，继续在所述模拟环境中回放所述记录。
[0008]已经讨论的特征、功能和优点可以在各种实施方式中独立地实现，或者可以在其他实施方式中组合，其进一步的细节可以参考下面的描述和附图而被看到。
附图说明
[0009]图1示出了描绘模拟飞行器驾驶舱的示例模拟环境的例示。
[0010]图2示出了描绘可以如何记录和提供示例物理交互以用于图1的模拟环境中的后续回放的例示。
[0011]图3A至图3B示出了描绘图1的模拟环境中的物理部件致动的附加示例的例示。
[0012]图4A至图4D示出了描绘记录环境与模拟环境之间的示例关系的例示。
[0013]图5示出了描绘用于记录物理交互和/或回放物理交互的示例交互范例的例示。
[0014]图6示出了描绘被动画化为执行记录的物理交互的示例虚拟化身(avatar)的例示。
[0015]图7示出了描绘可以在模拟器中获得和回放与物理部件的物理交互的记录的示例系统的例示。
[0016]图8示出了根据本公开的示例实施方式例执行的方法的操作的例示。
[0017]图9示出了示例计算系统的例示。
具体实施方式
[0018]鉴于以上所述，提供了涉及在记录环境中记录的物理交互的回放的系统和方法，使得在模拟环境中表示记录的物理交互。在其他示例中，公开了在模拟环境中记录和回放与飞行器的物理部件(例如，操纵杆、踏板、拨盘)的物理交互(例如，作为模拟环境中的用户通过回放记录的物理交互来学习操作飞行器的飞行器训练过程的一部分)的实施方式。在一些示例中，模拟环境包括具有物理部件的物理模拟器，使得记录的物理交互的回放可以包括致动物理模拟器中的物理部件。例如，模拟环境中的物理部件的致动可以类似于在记录期间如何致动对应的物理部件。
[0019]在其他示例中，模拟环境提供物理部件的虚拟表示，诸如在头戴式显示设备上呈
现的虚拟或增强现实环境中。在这种模拟至少部分地被虚拟化的示例中，记录的物理交互的回放可以包括虚拟化身的显示，该虚拟化身被动画化成表示执行所记录的物理交互的人类操作者。在真实人类操作者执行用于后续回放的记录的物理交互的情况下，可以收集描述操作者的物理运动的运动数据并将其用于使虚拟化身动画化。当运动数据不可用时，虚拟化身可以改为被动画化成使用逆运动学解算器基于物理交互的类型以及交互发生的位置来执行物理交互。逆运动学解算器还可以被用于使虚拟化身交互动画化，例如在其中记录物理交互的记录环境和回放记录的物理交互的模拟环境是不同的。此外，可以提供与模拟器用户协作的虚拟化身，以实现多用户的机组训练场景。
[0020]如本文所述的物理交互的回放可以促进沉浸式训练场景，其中用户学习关于如何致动物理部件的三维和本体感受理解的过程。在回放包括致动模拟器中的物理部件的示例中，该沉浸式三维理解可以通过向用户的触觉和/或力反馈来补充，使得用户不仅能够看到而且感觉到如何操纵物理部件以实现相关结果。这种类型的触觉和/或本体感受的理解可以极大地有益于涉及复杂和/或精细的马达动作的训练场景，诸如在操作飞行器时执行的动作。可以通过使虚拟化身动画化来进一步增强用户理解，以证明人类操作者可以如何执行给定的交互，这可以包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括以下步骤：获得(802)关于一个或更多个物理部件执行的一个或更多个物理交互的记录(706)；在模拟环境(402、406、414、422)中回放(804)所述记录(706)，使得在所述模拟环境(402、406、414、422)中表示所述一个或更多个物理交互；在所述模拟环境(402、406、414、422)中检测(812)与所述模拟环境(402、406、414、422)的一个或更多个物理部件(726)的用户交互；确定(814)所述用户交互与所述记录(706)中的所述一个或更多个物理交互中的至少一个对应的物理交互是否一致；以及响应于这样的一致性，继续(818)在所述模拟环境(402、406、414、422)中回放所述记录(706)。2.根据权利要求1所述的方法，其中，回放(804)所述记录(706)的步骤包括：在显示设备(408、416、722、906)上显示(816)虚拟化身(600)，所述虚拟化身(600)被动画化以表示执行所述一个或更多个物理交互的人体的至少一部分。3.根据权利要求2所述的方法，其中，所述记录(706)是在记录环境(208、400、404、412、420)中被记录的，所述方法还包括以下步骤：在所述记录环境(208、400、404、412、420)和所述模拟环境(402、406、414、422)是物理上对应的环境的情况下，使用描述记录用户在所述一个或更多个物理交互中执行的物理运动的运动数据(712)来使所述虚拟化身(600)动画化；以及在所述记录环境(208、400、404、412、420)和所述模拟环境(402、406、414、422)不是物理上对应的环境的情况下，无需所述运动数据而是使用逆运动学解算器(732)来使所述虚拟化身(600)动画化(808)。4.根据权利要求2所述的方法，所述方法还包括以下步骤：响应于确定所述用户动作与所述至少一个对应的物理交互不一致，将所述虚拟化身(600)显示(816)为执行与所述至少一个对应的物理交互一致的交互。5.根据权利要求2所述的方法，其中，所述记录(706)包括描述记录用户在执行所述一个或更多个物理交互的同时执行的物理运动的运动数据(712)，并且其中，基于所述运动数据(712)使所述虚拟化身(600)动画化。6.根据权利要求2所述的方法，其中，所述虚拟化身(600)是使用逆运动学解算器(732)至少基于发生所述一个或更多个物理交互的一个或更多个位置来动画化的。7.根据权利要求1至6中任一项所述的方法，其中，回放(804)所述记录(706)的步骤包括：对于所述一个或更多个物理部件中的每个物理部件，致动所述模拟环境(402、406、414、422)中的对应的物理部件(726)。8.根据权利要求1至6中任一项所述的方法，其中，所述一个或更多个物理部件包括操纵杆、开关、旋转件、踏板和油门中的一者或更多者。9.根据权利要求1至6中任一项所述的方法，所述方法还包括以下步骤：在显示设备(408、416、722、906)上将虚拟化身(600)显示为和与所述一个或更多个物理部件的所述用户交互协作地执行所述一个或更多个物理交互中的至少一者。10.根据权利要求1至6中任一项所述的方法，其中，检测(812)与所述一个或更多个物理部件(726)的所述用户交互的步骤包括：检测所述一个或更多个物理部件(726)的物理致
动。11.根据权利要求1至6中任一项所述的方法，其中，与所述一个或更多个物理部件(726)的所述用户交互是基于从执行所述用户交互时操纵的输入设备输出的传感器数据来检测的。12.根据权利要求1至6中任一项所述的方法，其中，所述记录(706)是在与所述模拟环境(402、406、414、422)不同的记录环境(208、400、404、412、420)中被记录的，所述方法还包括以下步骤：将所述记录环境(208、400、404、412、420)中的所述一个或更多个物理部件中的每个物理部件映射到所述模拟环境(40...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：波音公司，
类型：发明
国别省市：