在混合现实中显示虚拟对象的方法以及相关终端和系统技术方案

本发明专利技术涉及一种在混合现实中显示至少一个虚拟对象的方法，该方法包括由第一终端执行的以下步骤：发送步骤(E410)，用于发送定位在计算机应用程序的第一窗口的一部分上的指针的至少一个位置数据元素，第一窗口由第二终端显示；接收步骤(E420)，用于接收与第一窗口的一部分相关的至少一个数据元素；以及处理步骤(E430)，用于处理与第一窗口的一部分相关的至少一个数据元素，以便基于与第一窗口的一部分相关的至少一个数据元素在混合现实中显示至少一个虚拟对象。

The Method of Displaying Virtual Objects in Hybrid Reality and Related Terminals and Systems

The present invention relates to a method for displaying at least one virtual object in hybrid reality, which includes the following steps performed by the first terminal: sending step (E410) for transmitting at least one location data element of a pointer positioned on a part of the first window of a computer application, the first window being displayed by the second terminal, and receiving step (E420) for receiving with the first window. At least one data element associated with a portion of a window; and a processing step (E430) for processing at least one data element associated with a portion of the first window to display at least one virtual object in hybrid reality based on at least one data element associated with a portion of the first window.

【技术实现步骤摘要】
在混合现实中显示虚拟对象的方法以及相关终端和系统
本专利技术涉及混合现实(mixedreality)、有时也称为混和现实(hybridreality)的一般领域，并且，更具体地涉及一种在混合现实中显示至少一个虚拟对象的方法。
技术介绍
终端用户，例如计算机用户，经常需要同时使用多个计算机应用程序，例如，同时一起使用文字处理器软件与电子邮件应用程序。然而，小尺寸的终端屏幕往往不能做到同时显示所有使用中的应用程序的窗口，来使得用户能够清楚地看见它们。举例来说，某些应用程序的显示仅可以缩小为图标，这样用户才不再对那些应用程序有任何视觉反馈，但是为了使那些应用程序再次显示，用户需要执行控制操作。因此，需要一种能够改进多个应用程序的同时显示的解决方案。
技术实现思路
本专利技术涉及一种在混合现实中显示至少一个虚拟对象的方法，该方法包括由第一终端执行的以下步骤：·发送步骤，用于发送定位在计算机应用程序的第一窗口的一部分上的指针的至少一个位置数据元素，所述第一窗口由第二终端显示；·接收步骤，用于接收与所述第一窗口的一部分相关的至少一个数据元素；以及·处理步骤，用于处理与所述一部分相关的至少一个数据元素，以便基于与所述一部分相关的至少一个数据元素在混合现实中显示所述至少一个虚拟对象。因此，第一终端的用户可以将使用中的计算机应用程序的显示从第二终端的显示设备扩展出来。可以同时显示与这些应用程序对应的许多个虚拟对象。在特定的实施方式中，所述至少一个虚拟对象是计算机应用程序的第二窗口。在特定的实施方式中，所述方法进一步包括由所述第一终端执行的以下步骤：·用于获取显示所述第一窗口的所述第二终端的显示设备在所述第一终端和所述第二终端所定位的真实环境中的至少一个位置数据元素的获取步骤；以及·用于获取所述指针的至少一个位置数据元素的获取步骤，所述指针的至少一个位置数据元素是所述指针相对于所述显示设备的位置数据元素。在特定的实施方式中，在检测用于显示所述至少一个虚拟对象的命令时执行所述发送步骤。在特定的实施方式中，所述接收步骤包括接收：·所述第一窗口的一部分的至少一个抓取，其为数字图像格式；和/或·与所述第一窗口的一部分相关的至少一个上下文数据元素；和/或·与所述第一窗口的一部分相关的至少一个元数据元素。在特定的实施方式中，所述第一终端是混合现实头戴式显示器或混合现实眼镜。在特定的实施方式中，所述方法进一步包括由所述第二终端执行的缩小步骤，用于缩小所述第一窗口的一部分。在特定的实施方式中，所述方法进一步包括由所述第二终端执行的确定步骤，用于根据所述指针的至少一个位置数据元素确定所述第一窗口的一部分。此外，本专利技术提供了一种适于执行如上所述方法的混合现实终端。而且，本专利技术提供了一种适于执行如上所述的方法、包括如上所述的终端的系统。在特定的实施例中，用于显示本专利技术的至少一个虚拟对象的本专利技术的混合现实显示方法的各个步骤由计算机程序指令确定。因此，本专利技术还提供了一种数据介质上的计算机程序，所述程序包括适于执行根据本专利技术的用于显示至少一个虚拟对象的混合现实显示方法的步骤的指令。所述程序可以使用任何编程语言，并且它可以是源代码、目标代码，或者源代码与目标代码之间的代码的形式，诸如为部分编译的形式，或者为任何其它期望的形式。本专利技术还提供了一种计算机可读数据介质，包括如上所述的计算机程序的指令。数据介质可以是能够存储程序的任何实体或设备。例如，介质可以包括诸如只读存储器(ROM)等的存储装置，例如光盘(CD)ROM或微电子电路ROM，或者甚至可以包括磁记录装置，例如硬盘。此外，数据介质可以是可传输介质，诸如可以经由电缆或光缆、通过无线电或通过其它方式传送的电信号或光信号。特别地，本专利技术的程序可以从因特网类型的网络上下载。可选地，数据介质可以是其中包含程序的集成电路，所述电路适于执行所讨论的方法或用于执行所讨论的方法。附图说明本专利技术的其它特征和优点从以下参考附图的描述中呈现，所述附图示出了没有限制特征的实施方式。在图中：图1是本专利技术的实施例中用于显示至少一个虚拟对象的混合现实显示系统的示图；图2A和图2B是示出本专利技术的实施例中用于显示至少一个虚拟对象的混合现实显示系统的第一终端和第二终端的示图；图3A和图3B分别是图1的系统的第一终端和第二终端的示图；图4和图5是示出本专利技术的各实施方式中用于显示至少一个虚拟对象的混合现实显示方法的主要步骤的流程图；以及图6是示出本专利技术的实施例中用于显示至少一个虚拟对象的混合现实显示系统的第二终端的屏幕的示图。具体实施方式图1是示出用于显示至少一个虚拟对象、并且适于实现本专利技术的实施方式中用于显示至少一个虚拟对象的混合现实显示方法的混合现实显示系统100的示图。混合现实是使虚拟世界能够与真实世界融合以便产生新的环境和显示的技术，其中真实世界的物理对象以及虚拟世界的数字对象共存并且可以例如以实时方式进行交互。混合现实使得可以通过显示设备显示虚拟对象，以便将它们叠加在真实世界中。系统100包括第一终端110，并且还可以包括第二终端120。第一终端110和第二终端120可以通过电信网络130彼此通信，所述电信网络130例如为因特网类型网络(例如WiFi)、蓝牙网络，或者固定或移动电话网络(为3G、4G等类型)。图2A示出了第一终端110和第二终端120的实例，其中第一终端110是用户佩戴的混合现实眼镜，而第二终端120是计算机。第二终端的屏幕显示两个计算机应用程序的窗口F1和F2。第一终端110和第二终端120的用户U可以通过凝视两个窗口之一F1的一部分将第一终端110的指针P定位在这一部分上。用户U还可以进行抓取所述第一窗口F1的这一部分的运动，该抓取运动被第一终端110解释为显示第一窗口F1的这一部分的命令。然后，第二终端120可以向第一终端110发送与指向窗口F1相关的数据，使得第一终端110可以基于该数据显示新窗口F3(参见图2B)。然后，第二终端120可以停止显示窗口F1或者可以缩小窗口F1。然后，用户U可以自由移动新窗口F3。用户还可以与该新窗口F3交互。第一终端110通常是混合现实眼镜，诸如“MicrosoftHololens”(注册商标)眼镜，或者混合现实头戴式显示器。在一种变型中，第一终端110可以是移动终端，诸如智能手机型便携式电话或数字平板电脑。举例来说，第二终端120是固定终端或移动终端，诸如计算机，通常是个人计算机、智能手机型移动电话、数字平板电脑或数字电视机。第一终端110包括指针模块、用于发送位置数据的发送模块、用于接收第一窗口部分数据的接收模块，以及用于处理真实环境数据和第一窗口部分数据的处理器模块。此外，第一终端110可以包括用于获取位置数据的获取模块、用于采集真实环境数据的采集模块，和/或用于显示虚拟对象的显示设备。在一个实例中，显示设备是透明或半透明屏幕，其上可以显示虚拟对象，所述虚拟对象通常采用全息图的形式。透明屏幕可以定位在用户眼睛的前方，使得用户通过屏幕看到屏幕上显示的虚拟对象和真实环境。因此，透明屏幕通常安装在混合现实眼镜上或安装在混合现实头戴式显示器上。在另一个实例中，显示设备是能够显示来自真实世界的图像的屏幕，所述图像通常由采集模块采集，其中可以将虚拟对象叠加在该图像上。在实例本文档来自技高网...

【技术保护点】
1.一种在混合现实中显示至少一个虚拟对象(OV，F3)的方法，其特征在于，所述方法包括由第一终端(110)执行的以下步骤：·发送步骤(E410，E510)，用于发送定位在计算机应用程序的第一窗口(F1)的一部分(PF1)上的指针(P)的至少一个位置数据元素(DP)，所述第一窗口(F1)由第二终端(120)显示；·接收步骤(E420，E520)，用于接收与所述第一窗口(F1)的所述一部分(PF1)相关的至少一个数据元素(DPF1)；以及·处理步骤(E430，E530)，用于处理与所述一部分(PF1)相关的所述至少一个数据元素(DPF1)，以便基于与所述一部分(PF1)相关的所述至少一个数据元素(DPF1)在混合现实中显示所述至少一个虚拟对象(OV，F3)。

【技术特征摘要】
2017.11.28 FR 17613211.一种在混合现实中显示至少一个虚拟对象(OV，F3)的方法，其特征在于，所述方法包括由第一终端(110)执行的以下步骤：·发送步骤(E410，E510)，用于发送定位在计算机应用程序的第一窗口(F1)的一部分(PF1)上的指针(P)的至少一个位置数据元素(DP)，所述第一窗口(F1)由第二终端(120)显示；·接收步骤(E420，E520)，用于接收与所述第一窗口(F1)的所述一部分(PF1)相关的至少一个数据元素(DPF1)；以及·处理步骤(E430，E530)，用于处理与所述一部分(PF1)相关的所述至少一个数据元素(DPF1)，以便基于与所述一部分(PF1)相关的所述至少一个数据元素(DPF1)在混合现实中显示所述至少一个虚拟对象(OV，F3)。2.根据权利要求1所述的方法，其中所述至少一个虚拟对象是所述计算机应用程序的第二窗口(F3)。3.根据权利要求1或权利要求2所述的方法，所述方法进一步包括由所述第一终端(110)执行的以下步骤：·用于获取显示所述第一窗口(F1)的第二终端(120)的显示设备(E)在所述第一终端(110)和所述第二终端(120)所定位的真实环境(ER)中的至少一个位置数据元素(DPE)的获取步骤(E502)；以及·用于获取所述指针(P)的至少一个位置数据元素(DP)的获取步骤(E504)，所述指针(P)的所述至少一个位置数据元素(DP)是所述指针(P)相对于所述显示设备(E)的位置数据元素(DP)。4.根据权利要求1至3中任一项所述的方法，其中在检测(E506)用于显示所述至少一个虚拟对象(OV，F3...

【专利技术属性】
技术研发人员：塞德里克·弗卢里，珍·卡尔蒂尼，
申请(专利权)人：奥兰治公司，
类型：发明
国别省市：法国,FR