一种基于增强现实与移动交互的三维游戏接口设计方法技术

本发明专利技术提出了一种基于增强现实与移动交互的三维游戏接口设计方法。该方法分为四个步骤：数据收集，数据计算，数据传输，手部重建。数据收集部分由Leap Motion完成对手部位置和方向数据的采集；在数据计算部分，与Leap Motion连接的PC对采集来的手部数据进行坐标系转换并使用区间卡尔曼滤波器和区间粒子滤波器降低数据噪音，计算手部方向；在数据传输部分，PC将处理好的数据通过服务器发送到HoloLens上的客户端；在场景重建阶段，HoloLens使用接收到的数据在虚拟场景中将手部重新构建出来。本发明专利技术不依靠任何手持设备就可以捕捉手部动作，提高了人与机器的交互亲和性，增强了游戏的真实感。

A Design Method of 3D Game Interface Based on Augmented Reality and Mobile Interaction

The invention proposes a design method of three-dimensional game interface based on augmented reality and mobile interaction. The method consists of four steps: data collection, data calculation, data transmission and hand reconstruction. In the data collection part, Leap Motion completes the collection of hand position and direction data; in the data calculation part, PC connected with Leap Motion transforms the coordinate system of hand data collected and uses interval Kalman filter and interval particle filter to reduce data noise and calculate hand direction; in the data transmission part, PC sends the processed data to the server. Client on HoloLens; In the scene reconstruction phase, HoloLens uses the received data to reconstruct the hand in the virtual scene. The invention can capture hand movements without any handheld device, improves the mutual compatibility between human and machine, and enhances the reality of the game.

【技术实现步骤摘要】
一种基于增强现实与移动交互的三维游戏接口设计方法
本专利技术涉及一种人机交互技术，具体涉及一种基于手部动作进行人机交互的方法。
技术介绍
人机交互一直是计算机发展历史上的重要部分。从最早的机器语言，到后来的鼠标、键盘，以及现在普及的触摸屏等。使人与机器的交互过程更加直观自然，对于计算机在各个领域的开发和应用都有巨大的影响。近年来，人机交互开发了多种不同的交互通道，包括语音识别、生物识别和体感交互。语音识别应用于Cortana、Siri等智能语音识别机器人；生物识别主要利用人体特有的指纹、虹膜等生理特征，完成手机解锁、日常支付等功能;在体感交互方面，Kinect被誉为划时代的产品，作为一款3-D摄像头，它可以在不佩戴任何设备的情况下捕捉人体的深度和动作。而在游戏方面，主要的交互方式是依靠游戏手柄或鼠标和键盘来完成对游戏对象的控制。新开发的AR或VR游戏需要手持设备来控制游戏对象。虽然有些游戏使用Kinect进行体感交互，但这种交互无需任何手持设备即可完成，但Kinect无法移动，这意味着动态捕捉范围是固定的。为了使玩家在控制游戏物体时更加直观自然，我们使用LeapMotion捕捉玩家手部动作，即玩家可以通过裸手完成交互过程，无需借助任何手持设备。另一方面，传统的游戏交互的活动范围过于局限，我们设计了一种可移动的穿戴设备，使玩家不论身处何地都能进行游戏互动。
技术实现思路
为了实现裸手交互以及设备可移动的功能，本专利技术提供一种基于增强现实与移动交互的三维游戏接口方法。本专利技术的目的通过如下技术方案实现。一种基于增强现实与移动交互的三维游戏接口设计方法，通过LeapMotion捕捉手部动作并取得坐标数据，对数据进行坐标系转换，降低数据的白噪音，通过计算机计算出手部方向，最终将手部在虚拟场景中重新构建出来。进一步地，该方法包括以下步骤：S1、获取手部原始坐标和方向数据；S2、进行坐标系转换，计算准确的手部位置和方向；S3、将处理后的数据通过服务器发送到AR设备上的客户端；S4、AR设备在虚拟场景中重建出手部模型。进一步地，步骤S1使用LeapMotion获取手部的三维坐标信息以及方向数据。进一步地，步骤S2使用笛卡尔坐标系将LeapMotion获取的原始右手笛卡尔坐标系转化为世界坐标系，并映射到AR设备所建立的虚拟空间中；使用区间卡尔曼滤波器和区间粒子滤波器去除由于计算大量数据而产生的白噪音，使计算出的手部位置数据和方向数据更加精准。进一步地，步骤S3中PC端的服务器将计算好的数据打包发送至AR设备上的客户端。进一步地，步骤S4中使用的AR设备为HoloLens，HoloLens将处理好的数据在虚拟场景中重新构建出来。本专利技术将手势感应器LeapMotion与AR眼镜HoloLens结合，使用笛卡尔坐标系将手部坐标系转化为世界坐标系并投影到AR眼镜构建的虚拟场景中，使得设备可以随使用者的移动而移动，扩大了AR游戏场景的范围。本专利技术使用LeapMotion直采集测裸手的坐标数据和旋转方向数据，并使用区间卡尔曼滤波器和区间粒子滤波器降低因长时间数据堆积而产生的白噪音，对手部位置和方向进行精确计算，增强交互系统的准确性和稳定性。本专利技术与现有技术相比，具有以下优点和技术效果：1、无需借助手持设备来进行体感交互，可以直接捕捉裸手动作，使游戏的交互过程更加直观自然，给使用者更加真实的游戏体验。2、设备可移动。克服了传统体感设备体积过大、移动不便的缺点，增大的使用者的活动范围。附图说明图1为一种基于增强现实与移动交互的三维游戏接口设计方法流程图。具体实施方式以下结合附图和实例对本专利技术的具体实施作进一步说明，但本专利技术的实施和保护不限于此。需指出的是，以下若有未特别详细说明之过程（如区间卡尔曼滤波和粒子滤波算法），均是本领域技术人员可参照现有技术理解或实现的。现阶段主要的人机交互方式有三种：1）鼠标；2）触屏；3）体感。而在游戏的发展方面，鼠标交互类游戏和触屏交互类游戏较多，但是这两种交互方式对于基于AR技术开发的游戏来说是不适用的。而在通过体感交互来进行游戏这方面，主要是依靠Kinect——一款3-D摄像机捕捉人体动作完成交互。然而，Kinect设备较为庞大，需要固定安装，因此玩家的活动范围受到限制。AR技术的特点是在现实空间的基础上显示虚拟3-D物体，这就要求AR游戏能够获取更多的生活场景，避免游戏的单调和乏味，而Kinect无法移动的特点导致它无法适应AR游戏的开发。为了解决上述现有技术存在的问题，本实施例提供的一种基于增强现实的可移动的游戏交互方式。使用体积小，重量轻的LeapMotion和HoloLens来作为交互设备，以此实现设备可移动的特点。LeapMotion捕捉手部数据，通过PC端对数据进行坐标转换和精确估计，使用HoloLens将处理好的数据在虚拟空间中重建出来。如图1所示。本实例整个方法包含以下四个步骤：S1、使用LeapMotion获取手部的三维坐标信息以及方向数据；S2、使用笛卡尔坐标系将LeapMotion获取的原始右手笛卡尔坐标系转化为世界坐标系，并映射到HoloLens所建立的虚拟空间中；使用区间卡尔曼滤波器和区间粒子滤波器去除由于计算大量数据而产生的白噪音，使计算出的手部位置数据和方向数据更加精准；S3、将处理后的数据通过服务器发送到HoloLens上的客户端；S4、HoloLens在虚拟场景中重建出手部模型。本实施例的基于增强现实与移动交互的三维游戏接口设计方法。该方法分为四个步骤：数据收集，数据计算，数据传输，手部重建。数据收集部分由LeapMotion完成对手部位置和方向数据的采集；在数据计算部分，与LeapMotion连接的PC对采集来的手部数据进行坐标系转换并使用区间卡尔曼滤波器和区间粒子滤波器降低数据噪音，计算手部方向；在数据传输部分，PC将处理好的数据通过服务器发送到HoloLens上的客户端；在场景重建阶段，HoloLens使用接收到的数据在虚拟场景中将手部重新构建出来。本专利技术不依靠任何手持设备就可以捕捉手部动作，提高了人与机器的交互亲和性，增强了游戏的真实感。本文档来自技高网...

【技术保护点】
1.一种基于增强现实与移动交互的三维游戏接口设计方法，其特征在于，通过Leap Motion捕捉手部动作并取得坐标数据，对数据进行坐标系转换，降低数据的白噪音，通过计算机计算出手部方向，最终将手部在虚拟场景中重新构建出来。

【技术特征摘要】
1.一种基于增强现实与移动交互的三维游戏接口设计方法，其特征在于，通过LeapMotion捕捉手部动作并取得坐标数据，对数据进行坐标系转换，降低数据的白噪音，通过计算机计算出手部方向，最终将手部在虚拟场景中重新构建出来。2.根据权利要求1所述的一种基于增强现实与移动交互的三维游戏接口方法，其特征在于该方法包括以下步骤：S1、获取手部原始坐标和方向数据；S2、进行坐标系转换，计算准确的手部位置和方向；S3、将处理后的数据通过服务器发送到AR设备上的客户端；S4、AR设备在虚拟场景中重建出手部模型。3.根据权利要求1所述的一种基于增强现实与移动交互的三维游戏接口方法，其特征在于步骤S1使用LeapMotion获取手部的三维坐标信息以及方向数据。...

【专利技术属性】
技术研发人员：杜广龙，李斌冰，李方，张平，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44