一种实现MR混合现实交互的方法、存储介质技术

本发明专利技术提供一种Holoens结合HTCVive实现MR混合现实交互的方法、存储介质，方法包括：服务器获取HTC手柄包括事件信息和空间信息的手柄数据后，将其打包形成数据包发送至Holoens客户端；Holoens客户端解析所述数据包，获取所述手柄数据，并将其应用到MR场景中。本发明专利技术不仅提升了用户操控灵活性；而且极大缓解了用户操作易疲劳的问题；进一步的，还能提升操控识别精度，以及提升用户与MR应用交互的真实感，大大优化客户体验。

【技术实现步骤摘要】
一种实现MR混合现实交互的方法、存储介质
本专利技术涉及MR混合现实领域，具体涉及一种实现MR混合现实交互的方法、存储介质。
技术介绍
目前Hololens设备提供了几种方式来和设备中的应用进行交互，分别包括语音、凝视和手势。本申请主要拓展的方式为Hololens提供的手势操作。目前Hololens设备支持的几种手势操作分别为Bloom手势和Airtap手势。Bloom手势为伸出你的右手，手指并拢掌心向上，然后打开手掌就会出现win10一样的菜单界面，或者直接语音“helloCortana”，来触发Bloom操作。Airtap手势主要是针对应用的操作，将光标移到应用图标上面，将食指和大拇指伸出，首先张开，然后合拢，会触发Airtap操作。虽然操作方式有这么几种，但是仍然有以下缺点：1、在用户需要长时间佩戴使用设备，且用户使用的应用为需要大量手势操作时。比如射击类游戏的应用，玩家需要在游戏过程中不断的使用点击手势来实现射击操作。这就要求玩家要长时间的将胳膊保持在设备扫描范围内，很容易给玩家造成疲惫感。2、使用手势操作时，Hololens并不能百分百的识别每一次手势操作，且用户需要将手尽可能放在设备的正前方，这样才能提高手势的识别概率。一旦用户将手移出了Hololens的扫描范围，Hololens设备将不再响应用户手势操作。3、为了解决上述两个问题，Hololens本身提供了一个Click设备，用来模拟部分手势操作。但是Click设备是通过蓝牙与Hololens连接的，所以只能传递点击事件本身，却不能传递点击事件的空间信息，即点击事件发生的空间位置。由于丢失了空间信息，用户与MR应用交互的真实感大大降低。因此，有必要提供一种能够很好的解决上述用户易疲劳、识别范围受限导致识别不精准、Click设备丢失空间信息而导致真实感降低等问题的Holoens结合HTCVive实现MR混合现实交互的方法、存储介质。
技术实现思路
本专利技术所要解决的技术问题是：提供一种Holoens结合HTCVive实现MR混合现实交互的方法、存储介质，能提升用户与MR应用交互的真实感，同时还极大地提升了用户操作的灵活性。为了解决上述技术问题，本专利技术采用的技术方案为：一种Holoens结合HTCVive实现MR混合现实交互的方法，包括：服务器获取HTC手柄包括事件信息和空间信息的手柄数据后，将其打包形成数据包发送至Holoens客户端；Holoens客户端解析所述数据包，获取所述手柄数据，并将其应用到MR场景中。本专利技术提供的另一个技术方案为：一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述一种Holoens结合HTCVive实现MR混合现实交互的方法所包含的步骤。本专利技术的有益效果在于：将Holoens与HTCVive结合，利用HTC手柄替代Click设备，能同时获取空间信息，实现显著提升用户与MR应用交互的真实感；同时，HTC手柄的引入，大大扩展了操作识别范围，使得手势操作不再局限于既定的识别范围和有限的手势类型，不仅显著提高手势的识别精度，而且还能极大缓解操作给用户带来的疲惫感，从而极大的提升了用户操作的灵活性。附图说明图1为本专利技术一种Holoens结合HTCVive实现MR混合现实交互的方法的流程示意图；图2为本专利技术实施例一的方法流程示意图；图3为本专利技术实施例一的数据传输流程示意图；图4为本专利技术实施例二的服务器运行流程示意图；图5为本专利技术实施例二的客户端运行流程示意图；图6为本专利技术实施例二客户端解析手柄数据的流程示意图；图7为本专利技术实施例二服务器坐标系与客户端坐标系的对比示意图；图8为图7坐标系不一致的情况下直接运用手柄数据后服务器坐标系与客户端坐标系的表现对比示意图；图9和图10均为在图7坐标系不一致的情况下HCT手柄和虚拟手柄的移动轨迹对比示意图；图11为实施例二中矫正手柄位置的数据分析流程示意图；图12为实施例三的MR游戏场景效果示意图。具体实施方式为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。本专利技术最关键的构思在于：将Holoens与HTCVive结合，提升用户与MR应用交互的真实感，同时还极大地提升了用户操作的灵活性。请参照图1，本专利技术提供一种Holoens结合HTCVive实现MR混合现实交互的方法，包括：服务器获取HTC手柄包括事件信息和空间信息的手柄数据后，将其打包形成数据包发送至Holoens客户端；Holoens客户端解析所述数据包，获取所述手柄数据，并将其应用到MR场景中。从上述描述可知，本专利技术的有益效果在于：使用可记录和传递空间信息和事件信息的HTCVive设备替代Click设备，同时结合能够实现MR的Unity引擎搭建的服务器，实现HTC手柄数据的获取，并打包传输给Holoens客户端解析后应用到MR场景中，同时解决用户易疲劳、识别不精准、Click设备丢失空间信息等问题，获取显著提升用户手势操作灵活性，以及提升用户与MR应用交互的真实感的优点。进一步的，还包括：服务器通过主线程监听Holoens客户端发来的连接请求；服务器接收到连接请求后，新建一子线程；服务器通过所述子线程发送连接数据至所述连接请求对应的Holoens客户端；接收到所述连接数据的Holoens客户端建立与服务器的TCP连接。由上述描述可知，服务器与客户端之间使用TCP连接，可以保证客户端收到的数据的完整性；同时，分配不同线程分别执行不同任务，通过分工明确确保信息收发及时和收发无误。进一步的，服务器通过所述子线程发送所述数据包至Holoens客户端。由上述描述可知，对应一个客户端，服务端将开启一个新线程来针对性的传输二者之间的交互数据，以确保数据传输的实时性和准确性。进一步的，所述将其打包形成数据包发送至客户端，具体为：服务器依据预设的协议将所述手柄数据打包形成包括数据大小、数据类型和数据内容的数据包后，将其发送至Holoens客户端；所述数据类型为Data；所述数据内容为手柄数据。由上述描述可知，按照约定的协议将采集到的手柄数据进行打包处理后再进行传输，使得客户端接收到数据后能依照协议准确解析，获取所需数据；同时也能使传输规范化。进一步的，所述Holoens客户端解析所述数据包，获取所述手柄数据，具体为：Holoens客户端从所述数据包中获取数据大小和数据类型；依据所述数据大小从数据包读取数据内容；依据为Data的数据类型，对所述数据内容进行解析，获取手柄数据。由上述描述可知，客户端在接收到数据包后，能依据协议快速且准确地解析获取手柄数据。进一步的，所述获取所述手柄数据，并将其应用到MR场景中，具体为：获取手柄数据中的空间信息；依据所述空间信息，改变所述HTC手柄对应的虚拟物在MR场景中的位置；同时，获取手柄数据中的事件信息，所述事件信息以列表形式顺序记录一帧内先后触发的具体事件信息；在MR场景中顺序触发所述事件信息对应的各具体事件信息。由上述描述可知，能在MR场景中表现出HTC手柄对应的操作，极大的提升操控灵活性。进一步的，若服务器的空间坐标系与Holoens客户端的空间坐标系不一致，则将手柄数据中的空间信息运用到MR场景之前，还包括：将对应服务器的空间坐标系的空本文档来自技高网...

【技术保护点】
1.一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，包括：服务器获取HTC手柄包括事件信息和空间信息的手柄数据后，将其打包形成数据包发送至Holoens客户端；Holoens客户端解析所述数据包，获取所述手柄数据，并将其应用到MR场景中。

【技术特征摘要】
1.一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，包括：服务器获取HTC手柄包括事件信息和空间信息的手柄数据后，将其打包形成数据包发送至Holoens客户端；Holoens客户端解析所述数据包，获取所述手柄数据，并将其应用到MR场景中。2.如权利要求1所述的一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，还包括：服务器通过主线程监听Holoens客户端发来的连接请求；服务器接收到连接请求后，新建一子线程；服务器通过所述子线程发送连接数据至所述连接请求对应的Holoens客户端；接收到所述连接数据的Holoens客户端建立与服务器的TCP连接。3.如权利要求2所述的一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，服务器通过所述子线程发送所述数据包至Holoens客户端。4.如权利要求1所述的一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，所述将其打包形成数据包发送至客户端，具体为：服务器依据预设的协议将所述手柄数据打包形成包括数据大小、数据类型和数据内容的数据包后，将其发送至Holoens客户端；所述数据类型为Data；所述数据内容为手柄数据。5.如权利要求4所述的一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，所述Holoens客户端解析所述数据包，获取所述手柄数据，具体为：Holoens客户端从所述数据包中获取数据大小和数据类型；依据所述数据大小从数据包读取数据内容；依据为Data的数据类型，对所述数据内容进行解析，获取手柄数据。6.如权利要求1所述的一种Holoens结合HTCVive实现MR混合现实交互的方法，其特征在于，所述获取所述手柄数据，并将其应用到MR场景中，具体为：获取手柄数据中的空间信息；依据所述空间信息，改变所述HTC手柄对应的虚拟物在MR场景中的位置；同时，获取手柄数据中的事件信息，所述事件信息以列表形式顺序记录一帧内先后触发的具体事件信息；在MR场景中顺序触发所述事件信息对应的各具体事件信息...

【专利技术属性】
技术研发人员：刘德建，冯参，张伟强，陈宏展，
申请(专利权)人：福建天晴在线互动科技有限公司，
类型：发明
国别省市：福建,35