混合现实显示系统和混合现实显示终端技术方案

在混合现实显示系统(10)中，服务器(1)与多个混合现实显示终端(下称终端)(3a、3b)经由网络(2)连接，在现实空间中混合显示虚拟物体。虚拟物体包括对多个终端赋予了操作权限的共享虚拟物体，和仅对特定终端赋予了操作权限的个人虚拟物体。服务器具有用于使各终端显示虚拟物体的虚拟物体属性信息(239)，各终端包括动作检测部，检测用于切换共享虚拟物体与个人虚拟物体的用户的动作。服务器在从终端接收到动作检测部的检测结果时，根据虚拟物体是共享虚拟物体还是个人虚拟物体来更新虚拟物体属性信息，将更新后的虚拟物体的数据发送到各终端。

Hybrid reality display system and hybrid reality display terminal

In the hybrid reality display system (10), the server (1) is connected with a plurality of hybrid reality display terminals (hereinafter referred to as terminals) (3a, 3b) via the network (2), and displays the virtual objects in the real space. Virtual objects include shared virtual objects that have operation authority over multiple terminals, and personal virtual objects that only have operation authority over specific terminals. The server has virtual object attribute information (239) for each terminal to display the virtual object. Each terminal includes an action detection unit to detect the actions of users who share the virtual object and personal virtual object. When the server receives the detection result of the action detection unit from the terminal, it updates the attribute information of the virtual object according to whether the virtual object shares the virtual object or personal virtual object, and sends the updated virtual object data to each terminal.

【技术实现步骤摘要】
【国外来华专利技术】混合现实显示系统和混合现实显示终端
本专利技术涉及混合现实显示系统和混合现实显示终端，用于生成并显示由虚拟生成的影像、声音等与现实世界的影像、声音等组合而得到的混合现实空间，并且在该混合现实空间中，用户能够对虚拟生成的物体进行操作。
技术介绍
作为本
的
技术介绍
，专利文献1公开了在混合现实环境中显示共享虚拟对象和私有虚拟对象的系统。共享虚拟对象能够由多个使用者一起协同地进行交互，而私有虚拟对象对单个使用者可见。该文献还记载了通过设置私有虚拟对象，能够使多人对共享虚拟对象进行的协同交互变得容易。现有技术文献专利文献专利文献1：日本特表2016-525741号公报
技术实现思路
专利技术要解决的技术问题作为共享虚拟对象(下称共享虚拟物体)和私有虚拟对象(下称个人虚拟物体)的具体的使用方法，有下述例子。第一例是这样的情况，即，在混合现实空间中将试制产品的模型等显示为共享虚拟物体，针对该模型的设计进行讨论。通过使虚拟物体为多个设计者共享，多个设计者能够流畅地进行议论。另一方面，由于对共享虚拟物体来说，全部设计者都被赋予了变更其设计的权限，所以不适合各设计者想要个别地考虑修改设计的情况。该情况下，若能够将虚拟物体切换成对特定设计者赋予了修改的权限的个人虚拟物体，则会比较便利。为了流畅地进行这样的切换，要求能够进行将正在显示的共享虚拟物体复制成面向特定用户的个人虚拟物体的操作，和反过来使面向特定用户的个人虚拟物体与共享虚拟物体合并(merge)的操作。r>第二例是像虚拟的宣传单放置处那样将广告物料显示为共享虚拟物体的情况。该情况下，对混合现实空间内的多个用户，提供在同一场所显示有广告物料这样的体验。此时，由现实的宣传单放置处的用户动作类推，会产生某一用户想要将广告物料复制为个人物品的需求。该情况下，也要求能够进行将共享虚拟物体切换为面向该用户的个人虚拟物体的操作。即，需要实现共享虚拟物体与个人虚拟物体的切换操作(此处指的是复制操作和合并(merge)操作)。但是，在专利文献1记载的专利技术中，没有考虑如上所述对某一虚拟物体交替地切换共享的状态(共享虚拟物体)和个人的状态(个人虚拟物体)。另外，即使要进行共享虚拟物体与个人虚拟物体的切换，为了流畅地进行切换也存在下述问题。(1)各用户需要记住该虚拟物体是共享虚拟物体还是个人虚拟物体以区分使用，未记住的用户会感到混乱。(2)在个人虚拟物体仅显示给某一特定用户A，其他用户B不可见的情况下(例如专利文献1的情况)，对该不可见的个人虚拟物体的操作不会被其他用户B感知，所以用户B不知道用户A进行了何种操作，会感到混乱。(3)需要一种简便的手段，供用户容易地进行共享虚拟物体与个人虚拟物体的切换(复制操作和合并操作)。(4)在用户A正使用个人虚拟物体对共享虚拟物体进行操作的情况下，其操作内容可能被用户A的手遮挡而导致其他用户B看不见。本专利技术的目的在于提供一种混合现实显示系统和混合现实显示终端，用户能够不感到混乱地、流畅地在混合现实空间中进行共享虚拟物体与个人虚拟物体的切换。解决问题的技术手段本专利技术提供一种混合现实显示系统，其中服务器与多个用户分别使用的多个混合现实显示终端经由网络连接，在现实空间中混合显示虚拟物体，其中，所述虚拟物体包括对多个混合现实显示终端赋予了操作权限的共享虚拟物体，和仅对特定混合现实显示终端赋予了操作权限的个人虚拟物体。所述服务器具有用于使所述多个混合现实显示终端显示所述虚拟物体的虚拟物体属性信息，所述多个混合现实显示终端各自包括动作检测部，其检测用于进行所述共享虚拟物体与所述个人虚拟物体的切换的各用户的动作。所述服务器在从所述混合现实显示终端接收到所述动作检测部的检测结果时，根据所述虚拟物体是所述共享虚拟物体还是所述个人虚拟物体来更新所述虚拟物体属性信息，将更新后的所述虚拟物体的数据发送到所述多个混合现实显示终端。专利技术的效果采用本专利技术，用户能够不感到混乱地、流畅地在混合现实空间中进行共享虚拟物体与个人虚拟物体的切换。附图说明图1A是表示实施例1的混合现实显示系统的整体结构的框图。图1B是表示同时存在共享虚拟物体和个人虚拟物体的混合现实空间之一例。图2A是表示混合现实显示终端3a、3b的硬件结构的图。图2B是表示混合现实显示终端3a、3b的软件结构的图。图3A是表示服务器1的硬件结构的图。图3B是表示服务器1的软件结构的图。图4A是表示虚拟物体属性信息239的例子的数据表。图4B是表示用户认证信息240的例子的数据表。图4C是表示设备管理信息241的例子的数据表。图5是表示实施例1的动作序列的图。图6A是表示虚拟物体的个人化动作的图(从操作中的用户看来的图)。图6B是表示虚拟物体的个人化动作的图(从其他用户看来的图)。图7A是表示个人化动作中的虚拟物体的显示状态的图(从操作中的用户看来的图，显示模式P1)。图7B是表示个人化动作中的虚拟物体的显示状态的图(从操作中的用户看来的图，显示模式P2)。图7C是表示个人化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P3)。图7D是表示个人化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P4)。图8是说明个人虚拟物体的显示位置的差异的图(显示模式P3、P4)。图9A是表示虚拟物体的共享化动作的图(从操作中的用户看来的图)。图9B是表示虚拟物体的共享化动作的图(从其他用户看来的图)。图10A是表示共享化动作中的虚拟物体的显示状态的图(从操作中的用户看来的图，显示模式P1)。图10B是表示共享化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P3)。图10C是表示共享化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P4)。图11是说明共享化动作中决定虚拟物体的形状的图。图12是表示实施例2的混合现实显示系统的整体结构的框图。图13A是表示混合现实显示终端(内置服务器功能)3c的硬件结构的图。图13B是表示混合现实显示终端(内置服务器功能)3c的软件结构的图。图14是表示实施例2的动作序列的图。具体实施方式下面参照附图说明本专利技术的实施方式。实施例1图1A是表示实施例1的混合现实显示系统的整体结构的框图。本实施例的混合现实显示系统10是在网络2上连接服务器1和用户用的多个混合现实显示终端3a、3b而构成的。此处，混合现实显示终端有2台，但当然也可以由2台以上的多台终端构成。作为混合现实显示终端，例如有佩戴在用户头部使用的头戴式显示器(HMD)。以下，有时将混合现实显示终端简称为“终端”。服务器1具有保存虚拟物体的属性信息的功能、进行设备认证的功能和进行用户认证的功能。并且包括通信I/F，具有通本文档来自技高网...

【技术保护点】
1.一种混合现实显示系统，其中服务器与多个用户分别使用的多个混合现实显示终端经由网络连接，在现实空间中混合显示虚拟物体，其特征在于：/n所述虚拟物体包括对多个混合现实显示终端赋予了操作权限的共享虚拟物体，和仅对特定混合现实显示终端赋予了操作权限的个人虚拟物体，/n所述服务器具有用于使所述多个混合现实显示终端显示所述虚拟物体的虚拟物体属性信息，/n所述多个混合现实显示终端各自包括动作检测部，其检测用于进行所述共享虚拟物体与所述个人虚拟物体的切换的各用户的动作，/n所述服务器在从所述混合现实显示终端接收到所述动作检测部的检测结果时，根据所述虚拟物体是所述共享虚拟物体还是所述个人虚拟物体来更新所述虚拟物体属性信息，将更新后的所述虚拟物体的数据发送到所述多个混合现实显示终端。/n

【技术特征摘要】
【国外来华专利技术】1.一种混合现实显示系统，其中服务器与多个用户分别使用的多个混合现实显示终端经由网络连接，在现实空间中混合显示虚拟物体，其特征在于：
所述虚拟物体包括对多个混合现实显示终端赋予了操作权限的共享虚拟物体，和仅对特定混合现实显示终端赋予了操作权限的个人虚拟物体，
所述服务器具有用于使所述多个混合现实显示终端显示所述虚拟物体的虚拟物体属性信息，
所述多个混合现实显示终端各自包括动作检测部，其检测用于进行所述共享虚拟物体与所述个人虚拟物体的切换的各用户的动作，
所述服务器在从所述混合现实显示终端接收到所述动作检测部的检测结果时，根据所述虚拟物体是所述共享虚拟物体还是所述个人虚拟物体来更新所述虚拟物体属性信息，将更新后的所述虚拟物体的数据发送到所述多个混合现实显示终端。


2.如权利要求1所述的混合现实显示系统，其特征在于：
所述动作检测部检测所述用户的手的动作或语音输入动作，判断是个人化动作还是共享化动作，其中，所述个人化动作用于复制所述共享虚拟物体来生成所述个人虚拟物体，所述共享化动作用于将所述个人虚拟物体合并到复制源的所述共享虚拟物体。


3.如权利要求1所述的混合现实显示系统，其特征在于：
在所述多个混合现实显示终端之中，在从所述用户接受了所述虚拟物体的切换动作的混合现实显示终端和没有从所述用户接受所述虚拟物体的切换动作的混合现实显示终端上，通过各混合现实显示终端显示的同一虚拟物体的所述虚拟物体属性信息是不同的，对同一虚拟物体用不同的颜色、亮度、形状或声音进行呈现。


4.如权利要求3所述的混合现实显示系统，其特征在于：
在所述动作检测部检测到的所述用户进行的切换动作的过程中，在所述多个混合现实显示终端的每一个上，对同一虚拟物体使要呈现的颜色、亮度、形状或声音逐渐变化来进行呈现。


5.如权利要求3所述的混合现实显示系统，其特征在于：
在从所述用户接受了所述虚拟物体的切换动作的混合现实显示终端和没有从所述用户接受所述虚拟物体的切换动作的混合现实显示终端上，还按照所述虚拟物体与所述用户的距离，将同一虚拟物体显示在不同的位置。


6.如权利要求3所述的混合现实显示系统，其特征在于：
所述多个混合现实显示终端各自包括检测所述用户的视线方向的视线检测部，
在所述混合现实显示终端中，在通过所述视线检测部检测到所述用户的视线落在所述虚拟物体上之后，按照所述虚拟物体属性信息切换所述虚拟物体的显示状态。
<...

【专利技术属性】
技术研发人员：神田直之，
申请(专利权)人：麦克赛尔株式会社，
类型：发明
国别省市：日本;JP