一种混合现实体验系统技术方案

本发明专利技术涉及混合现实技术领域，提出一种混合现实体验系统。该系统包括动作捕捉设备、数据处理设备、触控交互设备和立体显示设备；所述数据处理设备分别与所述动作捕捉设备、所述触控交互设备、所述立体显示设备连接。本发明专利技术摒弃了传统的头戴式显示设备，转而采用独立的立体显示设备进行影像的展示，能够避免用户穿戴不适的问题。另外，同时采用动作捕捉设备和触控交互设备作为交互设备，能够实现多用户的同时体验。

A hybrid reality experience system

The invention relates to the field of mixed reality, and proposes a mixed real experience system. The system comprises a motion capture device, a data processing device, a touch interactive device and a stereoscopic display device which are respectively connected with the motion capture device, the touch interactive device and the stereoscopic display device. The invention abandons the traditional head-mounted display device and adopts an independent stereoscopic display device for image display, which can avoid the problem of user wearing discomfort. In addition, the motion capture device and touch interactive device are used as interactive devices, which can realize multi-user simultaneous experience.

【技术实现步骤摘要】
一种混合现实体验系统
本专利技术涉及混合现实
，尤其涉及一种混合现实体验系统。
技术介绍
混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。目前，用户一般通过可穿戴式显示设备来体验混合现实，比如使用微软公司的Hololens头显。然而，可穿戴式显示设备比较笨重，用户在穿戴时会出现不适；而且，可穿戴式显示设备每次只能由一个人佩戴，无法实现多人同时体验。
技术实现思路
有鉴于此，本专利技术实施例提供了一种混合现实体验系统，旨在解决采用可穿戴显示设备体验混合现实时产生的用户不适，以及无法实现多人同时体验的问题。本专利技术实施例提供了一种混合现实体验系统，包括动作捕捉设备、数据处理设备、触控交互设备和立体显示设备；所述数据处理设备分别与所述动作捕捉设备、所述触控交互设备、所述立体显示设备连接；所述动作捕捉设备，用于采集环境信息以及捕捉用户的动作信息，并将所述环境信息和所述动作信息发送给所述数据处理设备；所述触控交互设备，用于获取用户的操作信息，并将所述操作信息发送给所述数据处理设备；所述数据处理设备，用于根据所述环境信息、所述动作信息和所述操作信息生成包含虚拟信息的三维影像，并将所述三维影像发送给所述立体显示设备；所述立体显示设备，用于显示所述三维影像。本专利技术实施例提出的混合现实体验系统摒弃了传统的头戴式显示设备，转而采用独立的立体显示设备进行影像的展示，能够避免用户穿戴不适的问题。另外，本系统同时采用动作捕捉设备和触控交互设备作为交互设备，能够实现多用户的同时体验。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种混合现实体验系统的第一个实施例的结构图；图2是本专利技术实施例提供的一种混合现实体验系统的第二个实施例的结构图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。本专利技术实施例提供了一种混合现实体验系统，旨在解决采用可穿戴显示设备体验混合现实时产生的用户不适，以及无法实现多人同时体验的问题。请参阅图1，本专利技术实施例中一种混合现实体验系统的第一个实施例包括：动作捕捉设备101、数据处理设备102、触控交互设备103和立体显示设备104。所述数据处理设备102分别与所述动作捕捉设备101、所述触控交互设备103、所述立体显示设备104连接；具体的，所述数据处理设备102、所述动作捕捉设备101、所述触控交互设备103和所述立体显示设备104之间可以采用有线或无线的通信方式。所述动作捕捉设备101，用于采集环境信息以及捕捉用户的动作信息，并将所述环境信息和所述动作信息发送给所述数据处理设备；所述动作捕捉设备采用三维定位跟踪技术，能够精确跟踪各种交互对象(比如物体，人眼，手势等)，从而捕捉用户的动作信息。具体的，所述动作捕捉设备通过摄像头采集环境信息以及捕捉用户的动作信息，然后将这些信息发送给数据处理设备，等待数据处理设备对这些信息进行下一步的处理。所述触控交互设备103，用于获取用户的操作信息，并将所述操作信息发送给所述数据处理设备。所述触控交互设备可以是各种类型的触摸屏，当用户在触控交互设备上进行各种操作时(比如单点触控、多点触控等)，该触控交互设备能够获取到相应的操作信息，然后将该操作信息发送给所述数据处理设备，等待数据处理设备对该操作信息进行下一步的处理。所述数据处理设备102，用于根据所述环境信息、所述动作信息和所述操作信息生成包含虚拟信息的三维影像，并将所述三维影像发送给所述立体显示设备。所述数据处理设备是整个系统进行数据交换与数据处理的核心设备，具体可以是一个计算机图形工作站。该数据处理设备在接收到动作捕捉设备发送的环境信息和动作信息后，和/或接收到触控交互设备发送的操作信息后，能够根据这些信息构造出包含虚拟信息的三维影像，并将该三维影像发送给所述立体显示设备进行显示。所述立体显示设备104，用于显示所述三维影像。所述立体显示设备是三维影像的显示载体，用于接收并显示数据处理设备发送过来的三维影像，从而实现混合现实的体验效果。具体的，利用计算机三维渲染技术以及立体成像算法，能够精准计算出立体成像位置，实现三维立体悬浮在立体显示区域的成像效果。进一步的，所述数据处理设备102还可以用于根据所述操作信息生成目标影像，并将所述目标影像发送给所述触控交互设备103，所述触控交互设备103还可以用于显示所述目标影像。所述触控交互设备既可作为信息的输入设备，也可作为信息的输出设备。总的来说，用户可以在该触控交互设备上进行操作，输入操作信息，该操作信息会发送给数据处理设备；数据处理设备在接收到该操作信息后进行相应的数据处理，能够产生具有混合现实效果的目标影像，最后即可在该触控交互设备上展示该目标影像。进一步的，所述触控交互设备103和所述立体显示设备104通信连接，所述触控交互设备103还可以用于与所述立体显示设备104交换帧同步信息，以使所述立体显示设备显示的影像与所述触控交互设备显示的影像保持同步。所述触控交互设备和所述立体显示设备之间可以通过交换帧同步信息以实现协同操作与同步交互，以提高两者显示画面的同步性，进一步增强用户体验。进一步的，所述立体显示设备104还可以用于根据所述操作信息和/或所述动作信息将显示区域划分为两个以上的子区域，各个所述子区域分别显示不同的三维影像。更进一步的，在将显示区域划分为两个以上的子区域之后，所述立体显示设备104还可以用于根据所述操作信息和/或所述动作信息将所述显示区域恢复成一块区域。通过将显示区域划分成多个子区域，能够更好地实现多人同时体验。比如，用户通过指定的手势或者在触控交互设备上进行指定的操作可以将立体显示设备的显示区域划分成左边和右边两块子区域；而在进行另外的指定操作后，可以将这两块子区域恢复成一块区域。用户A可以通过动作捕捉设备与系统进行交互，并通过左边的子区域展示相应的影像；与此同时用户B可以通过触控交互设备与系统进行交互，并通过右边的子区域展示相应的影像，用户A和用户B之间的操作互不干扰。另外，用户A和用户B还能协同操作，以进一步提高混合现实的体验效果。具体的，相关的软件执行步骤如下：(1)判断是否需要进行三维显示；(2)若需要进行三维显示，判断当前是否为区域分块显示模式；(3)若当前为区域分块显示模式，则在显示区域的左边建立一个视窗；(4)确定绘图参数，绘制左边区域的显示模型；(5)在显示区域的右边建立一个视窗；(6)确定绘图参数，绘制右边区域的显示模型；(7)将绘制好的显示模型发送到对应的显示区域进行显示。总的来说，本专利技术实施例提出的混合现实体验系统的基本工作本文档来自技高网...

【技术保护点】
1.一种混合现实体验系统，其特征在于，包括动作捕捉设备、数据处理设备、触控交互设备和立体显示设备；所述数据处理设备分别与所述动作捕捉设备、所述触控交互设备、所述立体显示设备连接；所述动作捕捉设备，用于采集环境信息以及捕捉用户的动作信息，并将所述环境信息和所述动作信息发送给所述数据处理设备；所述触控交互设备，用于获取用户的操作信息，并将所述操作信息发送给所述数据处理设备；所述数据处理设备，用于根据所述环境信息、所述动作信息和所述操作信息生成包含虚拟信息的三维影像，并将所述三维影像发送给所述立体显示设备；所述立体显示设备，用于显示所述三维影像。

【技术特征摘要】
1.一种混合现实体验系统，其特征在于，包括动作捕捉设备、数据处理设备、触控交互设备和立体显示设备；所述数据处理设备分别与所述动作捕捉设备、所述触控交互设备、所述立体显示设备连接；所述动作捕捉设备，用于采集环境信息以及捕捉用户的动作信息，并将所述环境信息和所述动作信息发送给所述数据处理设备；所述触控交互设备，用于获取用户的操作信息，并将所述操作信息发送给所述数据处理设备；所述数据处理设备，用于根据所述环境信息、所述动作信息和所述操作信息生成包含虚拟信息的三维影像，并将所述三维影像发送给所述立体显示设备；所述立体显示设备，用于显示所述三维影像。2.如权利要求1所述的混合现实体验系统，其特征在于，所述数据处理设备还用于根据所述操作信息生成目标影像，并将所述目标影像发送给所述触控交互设备；所述触控交互设备还用于显示所述目标影像。3.如权利要求2所述的混合现实体验系统，其特征在于，所述触控交互设备和所述立体显示设备连接；所述触控交互设备还用于与所述立体显示设...

【专利技术属性】
技术研发人员：杨玉鹏，马锦祥，
申请(专利权)人：深圳市正图科技有限公司，
类型：发明
国别省市：广东,44