一种可用于增强现实游戏的可移动式手势交互装置及方法制造方法及图纸

本发明专利技术公开了一种可用于增强现实游戏的可移动式手势交互装置及方法。所述方法具体如下：首先将手势传感器和树莓派安装到增强现实眼镜上，通过树莓派将手势传感器的数据读出并发送到PC端，然后采用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标。在此基础上，PC端使用区间卡尔曼滤波器和粒子滤波对手势数据进行处理，再将数据发送到增强现实眼镜。此外，利用注册跟踪技术在虚拟游戏世界构建虚拟手模型，增强现实眼镜收到的手势数据用于驱动虚拟手模型。本发明专利技术提供了一种自然、直观的交互体验，可以让玩家在大型的场景不受位置和方向影响地使用手势交互，提高了交互的可靠性。

【技术实现步骤摘要】
一种可用于增强现实游戏的可移动式手势交互装置及方法
本专利技术属于人机交互领域，特别涉及一种可用于增强现实游戏的可移动式手势交互装置及方法。
技术介绍
增强现实是一种将虚拟信息与真实世界巧妙融合的技术。增强现实技术因为其颠覆性和革命性而受到了大量的关注。随着硬件设备的不断完善，增强现实的应用领域扩展到多个新领域，如虚拟装配、虚拟教学、远程手术等。在游戏领域，增强现实的沉浸式技术为消费者带来沉浸感更强的3D体验。手势交互是人们日常生活中使用最广泛的交互方式，许多增强现实游戏也都使用了手势交互的方式，如电子枪、穿戴式外骨架、手势检测传感器等。然而，这些传统的增强现实游戏中所采用的手势交互，由于硬件或者软件等诸多因素，通常只能局限在一个小空间内。随着5G时代的来临，巨量的数据传输和快速的数据传输成为可能，大空间的可移动式增强现实游戏也因此逐渐受到人们关注。在这种大空间可移动式的增强现实游戏中，玩家会在一个大范围内移动，同时玩家的朝向也会不时地改变。解决在大空间可移动式的增强现实游戏中如何使用手势交互的问题对这些增强现实游戏的广泛应用有着重大意义。...

【技术保护点】
1.一种可用于增强现实游戏的可移动式手势交互装置，其特征在于，包括手势传感器、树莓派和增强现实眼镜；其中，所述手势传感器和树莓派通过支撑结构安装到所述增强现实眼镜上，手势传感器的数据接口通过USB数据线与树莓派上的USB接口连接，将捕获的手势数据通过传送到树莓派；所述树莓派通过WiFi路由器的5G无线连接将手势数据发送到PC端，所述增强现实眼镜通过WiFi路由器的5G无线连接接收PC端进行处理后的手势数据，根据处理后的手势数据构建虚拟手模型与虚拟游戏世界交互；5G的快速传输的特性满足了增强现实游戏的实时性要求；由于手势的采集不受用户方位和物体遮挡的影响，因此用户可以在WiFi覆盖范围内自由移动...

【技术特征摘要】
1.一种可用于增强现实游戏的可移动式手势交互装置，其特征在于，包括手势传感器、树莓派和增强现实眼镜；其中，所述手势传感器和树莓派通过支撑结构安装到所述增强现实眼镜上，手势传感器的数据接口通过USB数据线与树莓派上的USB接口连接，将捕获的手势数据通过传送到树莓派；所述树莓派通过WiFi路由器的5G无线连接将手势数据发送到PC端，所述增强现实眼镜通过WiFi路由器的5G无线连接接收PC端进行处理后的手势数据，根据处理后的手势数据构建虚拟手模型与虚拟游戏世界交互；5G的快速传输的特性满足了增强现实游戏的实时性要求；由于手势的采集不受用户方位和物体遮挡的影响，因此用户可以在WiFi覆盖范围内自由移动，实现基于增强现实游戏的大空间可移动式的手势交互。


2.根据权利要求1所述的一种可用于增强现实游戏的可移动式手势交互装置，其特征在于，所述手势传感器采用LeapMotion，所述增强现实眼镜采用HoloLens。


3.利用权利要求1所述的一种可用于增强现实游戏的可移动式手势交互装置的可移动式手势交互方法，其特征在于，包括以下步骤：
S1、使用手势交互装置读出手势数据并通过WiFi路由器发送到PC端；
S2、利用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标；
S3、PC端使用区间卡尔曼滤波和粒子滤波对手势数据进行处理，再将手势数据通过WiFi路由器的5G无线连接发送到增强现实眼镜；
S4、采用注册跟踪技术在虚拟世界构建虚拟手模型，将虚拟手模型隐形，实现用真实手与虚拟游戏世界交互的效果。


4.根据权利要求3所述的一种可用于增强现实游戏的可移动式手势交互方法，其特征在于，步骤S2中，所述坐标系包括手势传感器的坐标系以及增强现实眼镜中的坐标系即游戏世界的坐标系；所述坐标转换采用张正友标定法，包括以下步骤：
S21、选择一个m×n的棋盘格；
S22、使用增强现实眼镜捕获棋盘格m×n个角点的位置坐标集P＝{p1，p2，p3，...，pm×n}；使用指尖依次触摸这m×n个点，获得手势传感器坐标下m×n个点的位置坐标集Q＝{q1，q2，q3，...，qm×n}；
S23、使用最小二乘法拟合以下公式，计算手势传感器坐标系到增强现实眼镜中的坐标系的转换关系：
pi＝Tqi，i＝1～m×n；
其中，Pi和Qi分别是位置坐标集P和Q中的点，T是手势传感器坐标系到增强现实眼镜中的坐标系的转换矩阵。


5.根据权利要求1所述的一种可用于增强现实游戏的可移动式手势交互方法，其特征在于，步骤S3中，所述区间卡尔曼滤波器用于对手势数据中的位置数据进行滤波，提高测量的精度和减小数据的抖动；所述位置数据是指手势传感器采集到的人手关节的位置坐标；所述粒子滤波用于对手势数据中的方向数据进行滤波；所述方向数据包括手掌的朝向和指尖的朝向。


6.根据权利要求5所述的一种可用于增强现实游戏的可移动式手势交互方法，其特征在于，所述区间卡尔曼滤波包括以下步骤：
S31、定义如下的状态转移方程和观测方程：



其中，xk和zk分别是tk时刻手势数据中位置的状态向量和观测向量；Φk为状态转移矩阵；H和uk-1分别是观测矩阵和输入矩阵；Γk是控制输入矩...

【专利技术属性】
技术研发人员：杜广龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44