基于Leap Motion与VR相结合的手功能康复训练系统及其实现方法技术方案

本发明专利技术涉及一种基于Leap Motion与VR相结合的手功能康复训练系统及其实现方法，将传感捕获技术与虚拟现实技术相结合，通过Leap Motion手部移动追踪及高精度手指识别技术实时获取用户手部的运动数据并映射到由VR构建的沉浸式虚拟场景中进行实时交互，同时设定诸如手势训练、手指控制能力提升训练如双指对捏、球状抓握、柱状抓握等贴近日常生活的训练任务，为因疾病或损伤造成的手功能运动障碍用户提供康复训练方案。本发明专利技术提高了用户康复训练的趣味性与主动性，加速用户运动神经功能重塑的效果，能有效缓解当前医师资源紧缺现状。

Hand Function Rehabilitation Training System Based on Leap Motion and VR and Its Implementation

The present invention relates to a hand function rehabilitation training system based on Leap Motion and VR and its implementation method. Sensor capture technology and virtual reality technology are combined to acquire real-time motion data of user's hand through Leap Motion hand movement tracking and high-precision finger recognition technology, and map to immersive virtual scene constructed by VR for real-time interaction, at the same time set up all of them. Such as gesture training, finger control ability enhancement training, such as double finger pinching, spherical grasping, cylindrical grasping and other training tasks close to daily life, provide rehabilitation training programs for users with hand dyskinesia caused by diseases or injuries. The invention improves the interest and initiative of the user rehabilitation training, accelerates the effect of the user's motor nerve function remodeling, and effectively alleviates the current shortage of physician resources.

【技术实现步骤摘要】
基于LeapMotion与VR相结合的手功能康复训练系统及其实现方法
本专利技术涉及康复工程及虚拟现实领域，具体涉及一种基于LeapMotion与VR相结合的手功能康复训练系统及其实现方法。
技术介绍
据世界卫生组织报道，全球因脑卒中所引起的运动功能障碍而需要做康复治疗的用户正在逐年增加。其中，手功能运动障碍是脑卒中引发主要病症之一，具体表现为指间关节和掌指关节伸展困难，丧失握持、手指等精细关节控制能力，严重影响用户的日常生活和工作能力，给家庭及社会带来了沉重的负担。经研究证明，积极主动的康复训练有助于用户肢体运动功能的恢复并促进痊愈。然而，传统的手功能康复治疗，主要采取医师对用户一对一式康复治疗或借助简单康复器械如木钉，这种方法不仅劳动量大、费用昂贵，而且训练效率和强度难以保证，尤其针对康复后期用户，康复过程枯燥乏味，用户参与主动性差，使得康复周期延长。近年，手功能康复机器人作为一种康复医疗设备的出现，在一定程度上减轻了医师的劳动量，也为手功能康复提供了一种新的训练思路。但其仍存在以下不足：(1)机械结构存在对用户手指造成二次伤害的风险，安全性难以得到保证；(2)康复机器人控制复杂、费用昂贵，普通用户难以承受；(3)大多均为被动式运动康复，难以充分调动用户中枢神经系统的能动可塑性。因此，研发一套既能提高用户训练过程的积极主动性，又能促进用户手部肌力、手指协调性、灵活性等功能的恢复，同时还能保证用户训练安全性的手部康复训练系统及方法显得尤为必要。
技术实现思路
为了克服现有手功能康复训练中存在的缺点与不足，本专利技术提供一种基于LeapMotion与VR相结合的手功能康复训练系统及实现方法，利用混合现实技术，通过VR头盔构建任务式3D虚拟场景以增加康复训练的临场感和真实感，结合LeapMotion传感器实现对手部精细关节的捕获识别实现与虚拟场景间的交互，为手功能障碍用户提供一种便捷、安全、有效的康复训练模式。本专利技术提供一种基于LeapMotion与VR相结合的手功能康复训练系统，硬件组成部分包括：小臂支撑支架、LeapMotion传感器、VR头盔、计算机主机、音响设备和显示器，所述LeapMotion传感器实现对手指关节的三维位置数据采集，所述VR头盔实现虚拟场景渲染，所述计算机主机实现数据处理与手功能康复评价；所述小臂支撑支架的高度能调节，且上表面为曲面，用于支撑无法自主抬起肩部及肘关节的用户的手部，所述LeapMotion传感器对用户手部各关节点的运动实现捕获识别与精确追踪，所述VR头盔能构建任务式3D虚拟场景以增加康复训练的临场感和真实感，所述计算机主机将所述LeapMotion传感器获得的数据进行分析，并对3D虚拟场景中的虚拟手进行同步实时控制；所述音响设备与所述计算机主机相连，为用户康复训练提供听觉反馈信息。优选地，所述LeapMotion传感器能放置于用户手部的下方或固定在VR头盔表面。优选地，所述虚拟现实人机交互部分能提供日常手势训练和控制能力提升两方面场景供用户选择，以训练用户手部空间定位能力及运动控制能力。优选地，所述手功能康复评价部分在用户完成一个训练过程后，系统便会给出游戏得分数据，同时定期给出康复训练效果评估结果，并生成康复报表。一种基于LeapMotion与VR相结合的手功能康复训练系统的实现方法，包括以下步骤：S1，用户结合自身手部活动能力强弱选择合适的硬件安装方式，登陆康复训练软件系统；S2，用户做出LeapMotion识别姿势，直到识别并跟踪到用户双手后，用户便可以通过3D虚拟场景中的虚拟手来控制操作界面进行相应菜单选择，进而完成场景选择及参数设置；S3，用户进入手功能康复训练环节，根据当前训练场景中的文字和语音提示完成训练任务，并对本次训练进行评分；S4，每完成一次训练任务后，系统会自动根据上次训练得分自适应调整包括下次训练场景的难度系数及训练时间长在内的参数；S5，用户完成预先制定的所有康复训练任务后，系统自动汇总生成每次训练的时长、得分、康复评估信息并以报表或者曲线形式展示给用户，同时建立用户康复训练的电子档案，以辅助医师制定科学康复训练方案。本专利技术的有益效果如下：(1)一方面，本专利技术所述训练方法摆脱了理疗师与用户一对一式体力劳动，有效缓解当前医师资源紧缺现状，减少了传统康复训练对场地空间、设备的需求，极大限度的提高了康复训练的便捷性；(2)另一方面，本专利技术针对中风用户手功能康复训练需求，设计贴近生活的任务式虚拟场景，结合视、听觉和本体感觉多反馈刺激，有效提高了用户训练的趣味性与主动性，加速用户脑功能运动神经的重塑，达到改善用户手功能运动的目的；(3)最后，本专利技术所述训练方法与传统康复训练相比，不受时间空间的约束，具有安全性、趣味性、针对性强等优势，且可以提供视觉、听觉等多方面反馈以提高用户对康复效果。附图说明图1为本专利技术基于LeapMotion与VR相结合的手功能康复训练系统的结构框图；图2为本专利技术基于LeapMotion与VR相结合的手功能康复训练系统硬件布置示意图；图3为本专利技术手功能康复训练常见手势示范图；图4为本专利技术虚拟训练场景实施例示范图；以及图5为本专利技术手功能康复训练方法实施例流程框图。具体实施方式为详尽本专利技术之
技术实现思路
、结构特征、所达成目的及功效，以下将结合说明书附图进行详细说明。如图1所示，本专利技术将LeapMotion手部运动捕获、计算机游戏模块、数据处理与传输、虚拟现实技术结合起来，提出一种针对手功能运动障碍用户的康复训练新方法。其包括基于LeapMotion手部动作识别和基于VR头盔渲染的沉浸式虚拟训练场景两部分，即首先由LeapMotion捕获用户手部21个关节点空间三维位置信息，经过内部微处理器处理传送到电脑主机进行数据处理分析与模式识别，完成对场景中的虚拟手进行同步实时控制。接着通过Unity3D游戏开发引擎，搭建与日常生活息息相关的手部训练场景，利用VR头盔来渲染以增加用户训练过程的真实性、沉浸感，从而提高用户康复训练的积极性、主动性，达到更好的康复训练效果。继续参照图1所示，为满足不同康复阶段用户，本专利技术手部运动功能康复训练涉及日常手势训练和控制能力提升两方面场景供用户选择。日常手势训练，包括数字0-9共十个手势动作、生活中常用的诸如OK、耶、棒等手势，以提高用户对各个手指关节的控制能力；控制能力提升训练，包括双指对捏如摘花瓣等、球状抓握如拾取水果、网球等、柱状抓握如倒水、拿木棍等三类任务式场景，针对用户手指灵活度及空间控制能力两方面进行提升训练。图3示出了手功能康复训练的常见手势，其中数字2手势9、数字3手势10、数字4手势11、OK手势12、棒手势13、耶手势14、手掌张开手势15、球形抓握手势16、柱形抓握手势17和双指对捏手势18。基于LeapMotion与VR相结合的手功能康复训练系统及实现方法的硬件组成部分主要包括：VR头盔1、LeapMotion传感器2、显示器3、扩音器4、电脑主机5、键盘6、手部支撑柱7及相应配套设施，如供电设备，各设备布置方式如图2。小臂支撑支架，用于手部运动能力较弱例如无法自主抬起肩、肘关节的用户起辅助支撑作用，帮助用户手部位于LeapMotion传感器2正上方范围运动，以保证其传感器对用户手部本文档来自技高网...

【技术保护点】
1.一种基于Leap Motion与VR相结合的手功能康复训练系统，其特征在于，硬件组成部分包括：小臂支撑支架、Leap Motion传感器、VR头盔、计算机主机、音响设备和显示器，所述Leap Motion传感器实现对手指关节的三维位置数据采集，所述VR头盔实现虚拟场景渲染，所述计算机主机实现数据处理与手功能康复评价；所述小臂支撑支架的高度能调节，且上表面为曲面，用于支撑无法自主抬起肩部及肘关节的用户的手部，所述Leap Motion传感器对用户手部各关节点的运动实现捕获识别与精确追踪，所述VR头盔能构建任务式3D虚拟场景以增加康复训练的临场感和真实感，所述计算机主机将所述Leap Motion传感器获得的数据进行分析，并对3D虚拟场景中的虚拟手进行同步实时控制；以及所述音响设备与所述计算机主机相连，为用户康复训练提供听觉反馈信息。

【技术特征摘要】
1.一种基于LeapMotion与VR相结合的手功能康复训练系统，其特征在于，硬件组成部分包括：小臂支撑支架、LeapMotion传感器、VR头盔、计算机主机、音响设备和显示器，所述LeapMotion传感器实现对手指关节的三维位置数据采集，所述VR头盔实现虚拟场景渲染，所述计算机主机实现数据处理与手功能康复评价；所述小臂支撑支架的高度能调节，且上表面为曲面，用于支撑无法自主抬起肩部及肘关节的用户的手部，所述LeapMotion传感器对用户手部各关节点的运动实现捕获识别与精确追踪，所述VR头盔能构建任务式3D虚拟场景以增加康复训练的临场感和真实感，所述计算机主机将所述LeapMotion传感器获得的数据进行分析，并对3D虚拟场景中的虚拟手进行同步实时控制；以及所述音响设备与所述计算机主机相连，为用户康复训练提供听觉反馈信息。2.根据权利要求1所述的基于LeapMotion与VR相结合的手功能康复训练系统，其特征在于，所述LeapMotion传感器能放置于用户手部的下方或固定在VR头盔表面。3.根据权利要求1所述的基于LeapMotion与VR相结合的手功能康复训练系统，其特征在于，所述虚拟现实人机交互部分能提供日常手势训练和控制能...

【专利技术属性】
技术研发人员：谢平，陈伟，王磊磊，房华蕾，杜义浩，胡希琛，付子豪，何思凡，郝慎才，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北,13