控制混合现实应用中的2D屏幕接口应用制造技术

本发明专利技术涉及控制混合现实应用中的2D应用。为了在医学人员的操作设备和装备方面提供进一步的简化，提供了一种用于控制混合现实应用中的2D应用的设备(10)。所述设备包括2D应用接口(12)、处理器(14)、混合现实应用接口(16)和控制接口(18)。所述2D应用接口接收表示2D应用的数据。所述应用包括提供用于所述2D应用的用户控制的命令的交互元素。所述处理器基于表示所述2D应用的数据来识别并提取所述交互元素。所述处理器还将所述交互元素转换为混合现实显示应用的用户接口特征。所述处理器还生成用于呈现所述混合现实显示应用的数据，并且将用户输入映射到用于所述2D应用的用户控制的命令。所述混合现实应用接口将所述混合现实显示应用作为混合现实提供给用户。所述控制接口从所述用户接收针对所述用户接口特征的输入，并且向所述2D应用提供所述命令，以便控制所述2D应用。因此，增强现实接口被映射到常规2D屏幕接口。这允许集成仅在监测器上提供与鼠标等的交互的应用，以在现今的增强现实环境中操作。以在现今的增强现实环境中操作。以在现今的增强现实环境中操作。

【技术实现步骤摘要】
【国外来华专利技术】控制混合现实应用中的2D屏幕接口应用


[0001]本专利技术涉及一种用于控制混合现实应用中的2D应用的设备、一种用于控制混合现实应用中的2D应用的系统以及一种用于控制混合现实应用中的2D应用的方法。

技术介绍

[0002]在医学环境中，与常规2D接口相比较，可穿戴增强现实为用户接口启用了新的机会。然而，这些增强现实接口要求特定的输入和设计要求，以便与先前的2D接口相比较是直观的。已经表明，常规2D接口未集成到增强现实工具中。这添加到操作室中的增加的复杂性。其还添加到用户的操作任务的复杂性。

技术实现思路

[0003]因此，可能需要在医学人员的操作设备和装备方面提供进一步的简化。
[0004]本专利技术的目标由独立权利要求的主题解决；其他实施例被并入在从属权利要求中。应当注意，本专利技术的以下描述的方面也适用于用于控制混合现实应用中的2D应用的设备、用于控制混合现实应用中的2D应用的系统以及用于控制混合现实应用中的2D应用的方法。
[0005]根据本专利技术，提供了一种用于控制混合现实应用中的2D应用的设备。所述设备包括：2D应用接口；处理器；混合现实应用接口；以及控制接口。所述2D应用接口被配置为接收表示2D应用的数据。所述2D应用包括提供用于对所述2D应用的用户控制的命令的交互元素。所述处理器被配置为基于表示所述2D应用的所述数据来识别并提取所述交互元素。所述处理器还被配置为将所述交互元素转换为混合现实显示应用的用户接口特征。所述处理器还被配置为生成用于呈现所述混合现实显示应用的数据。所述处理器还被配置为将用户输入映射到用于对所述2D应用的用户控制的命令。所述混合现实应用接口被配置为将所述混合现实显示应用作为混合现实提供给用户。所述控制接口被配置为从所述用户接收针对所述用户接口特征的输入。所述控制接口还被配置为向所述2D应用提供所述命令，以便控制所述2D应用。
[0006]因此，例如，可能将基于2D屏幕的接口流式传输到增强现实环境中，而增强现实特异性输入基于从2D接口提取的特征。从2D接口(包括第三方应用)提取用户接口信息，以用于在增强现实应用内创建增强的交互。
[0007]根据示例，所述2D应用接口被配置为接收：用于在监测器上呈现所述2D应用的显示数据，或者采集对所述2D应用的呈现的图像数据的相机的图像的序列。
[0008]根据示例，针对所述识别和所述提取，所述处理器被配置为提供交互元素识别例程，所述交互元素识别例程包括具有以下各项的组中的至少一项：基于对所述2D应用的图像处理来检测交互特征；当跨所述2D应用呈现移动位置指示符时检测变化；记录所述用户在所述2D应用呈现中的交互活动的位置；以及提供包括交互活动的训练数据集，并且基于对所述训练数据集的机器学习来识别交互元素。
[0009]根据示例，所述处理器被配置为围绕所识别的交互元素创建碰撞器，以用于将所述交互元素转换为所述用户接口特征。所述碰撞器启用了多个3D反馈特征。
[0010]根据本专利技术，还提供了一种用于控制混合现实应用中的2D应用的系统。所述系统包括：根据前述示例中的一项的用于控制混合现实应用中的2D应用的设备。所述系统还包括：混合现实呈现装置，其被数据连接到用于控制混合现实应用中的2D应用的设备。所述混合现实呈现装置包括呈现设备，所述呈现设备被配置为将所述混合现实显示应用作为混合现实呈现给用户。所述混合现实呈现装置还包括用户输入设备。
[0011]根据示例，所述混合现实呈现装置是包括可穿戴增强现实设备的增强现实呈现装置。在额外地或备选地提供的选项中，提供了头戴式显示器，其被配置为将所述混合现实显示应用呈现为对现实的叠加。
[0012]根据示例，所述混合现实呈现装置是包括可穿戴混合现实设备的混合现实呈现装置。在额外地或备选地提供的选项中，提供了头戴式显示器，其被配置为呈现所述虚拟现实显示应用。
[0013]根据示例，所述混合现实呈现装置是包括可穿戴虚拟现实设备的虚拟现实呈现装置。在额外地或备选地提供的选项中，提供了头戴式显示器，其被配置为呈现所述虚拟现实显示应用。
[0014]根据示例，提供了监测器，其被配置为呈现所述2D应用。在额外地或备选地提供的选项中，接口被提供以将用户交互数据转发到所述2D应用。所述用户交互数据是由所述混合现实呈现装置的所述用户输入设备提供的。
[0015]根据本专利技术，还提供了一种用于控制混合现实应用中的2D应用的方法。所述方法包括以下步骤：
[0016]‑
接收表示2D应用的数据，其中，2D图形用户接口包括提供用于对所述2D应用的用户控制的命令的交互元素；
[0017]‑
基于表示所述2D应用的所述数据来识别并提取所述交互元素；
[0018]‑
将所述交互元素转换为混合现实显示应用的用户接口特征；
[0019]‑
生成并提供用于将所述混合现实显示应用作为混合现实呈现给用户的数据，其中，所述混合现实显示应用包括对所述2D应用的呈现；
[0020]‑
从所述用户接收针对所述用户接口特征的输入；
[0021]‑
将所述用户输入映射到用于对所述2D应用的用户控制的命令；并且
[0022]‑
向所述2D应用提供所述命令，以便控制所述2D应用。
[0023]在方面中，用于所述2D应用的呈现的数据用于提取通常作为2D呈现显示给所述用户的相应用户接口元素。2D世界的接口元素被转换为混合现实世界的用户接口特征。所述用户在混合现实世界中提供输入，并且所述输入被映射回2D世界中以控制所述2D应用。
[0024]基本上，提供了一种程序，该程序使用输入系统来模拟用户输入以检测来自2D屏幕的可交互接口，而不与现有软件集成。换句话说，输入系统用于模拟用户输入以检测来自2D屏幕的可交互接口，而不在软件级别处与可交互源集成。
[0025]在方面中，增强现实的使用被应用于显示屏幕，并且提供与这些屏幕的交互。使用领域的示例是医疗保健，例如在可穿戴增强现实设备和其他2D应用的应用的背景下。
[0026]根据方面，一种用于控制混合现实应用中的2D应用的设备被提供有2D应用接口、
处理器、混合现实应用接口和控制接口。所述2D应用接口接收表示2D应用的数据。所述应用包括提供用于对所述2D应用的用户控制的命令的交互元素。所述处理器基于表示所述2D应用的数据来识别并提取所述交互元素。所述处理器还将所述交互元素转换为混合现实显示应用的用户接口特征。所述处理器还生成用于呈现所述混合现实显示应用的数据，并且将用户输入映射到用于对所述2D应用的用户控制的命令。所述混合现实应用接口将所述混合现实显示应用作为混合现实提供给用户。所述控制接口从所述用户接收针对所述用户接口特征的输入，并且向所述2D应用提供所述命令，以便控制所述2D应用。因此，增强现实接口被映射到常规2D屏幕接口。这允许集成仅在监测器上提供与鼠标等交互的应用，以便在现今的增强现实环境中操作。
[0027]将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制混合现实应用中的2D应用的设备(10)，所述设备包括：
‑
2D应用接口(12)；
‑
处理器(14)；
‑
混合现实应用接口(16)；以及
‑
控制接口(18)；其中，所述2D应用接口被配置为接收表示2D应用的数据，其中，所述2D应用包括提供用于对所述2D应用的用户控制的命令的交互元素；其中，所述处理器被配置为：基于表示所述2D应用的所述数据来识别并提取所述交互元素；并且将所述交互元素转换为混合现实显示应用的用户接口特征；并且生成用于呈现所述混合现实显示应用的数据；并且将用户输入映射到用于对所述2D应用的用户控制的命令；其中，所述混合现实应用接口被配置为将所述混合现实显示应用作为混合现实提供给用户；并且其中，所述控制接口被配置为从所述用户接收针对所述用户接口特征的输入；并且向所述2D应用提供所述命令，以便控制所述2D应用。2.根据权利要求1所述的设备，其中，所述2D应用接口被配置为接收：i)用于在监测器上呈现所述2D应用的显示数据；或者ii)采集对所述2D应用的呈现的图像数据的相机的图像的序列。3.根据权利要求1或2所述的设备，其中，针对所述识别和所述提取，所述处理器被配置为提供交互元素识别例程，所述交互元素识别例程包括具有以下各项的组中的至少一项：
‑
基于对所述2D应用的图像处理来检测交互特征；
‑
当跨所述2D应用呈现移动位置指示符时检测变化；
‑
记录所述用户在所述2D应用呈现中的交互活动的位置；以及
‑
提供包括交互活动的训练数据集，并且基于对所述训练数据集的机器学习来识别交互元素。4.根据前述权利要求中的一项所述的设备，其中，所述处理器被配置为围绕所识别的交互元素创建碰撞器，以用于将所述交互元素转换为所述用户接口特征；并且其中，所述碰撞器实现多个3D反馈特征。5.一种用于控制混合现实应用中的2D应用的系统(100)，包括：
‑
根据前述权利要求中的一项所述的用于控制混合现实应用中的2D应用的设备(10)；以及
‑
混合现实呈现装置(102)，其被数据连接到用于控制混合现实应用中的2D应用的设备，其中，所述混合现实呈现装置包括呈现设备(104)，所述呈现设备被配置为将所述混合现实显示应用作为混合现实呈现给用户；并且其中，所述混合现实呈现装置包括用户输入设备(106)。6.根据权利要求5所述的系统，其中，混合现实呈现包括对所述2D应用的呈现。7.根据权利要求5或6所述的系统，其中，所述混合现实呈现...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：