一种基于Leap Motion的手指对称康复误差修正方法技术

本发明专利技术提供了一种基于Leap Motion的手指康复误差修正方法，包括：步骤一：首先对患者的正常手进行行为预测，Leap Motion对双手动作进行数据采集，并通过上位机实时显示；步骤二：计算机对双手动作的数据进行对比；步骤三：若误差在有效范围之内，则输出患者手部完成动作的量化值，若误差不在有效范围内，则输出提示信息，并通过算法对数据进行修正；步骤四：将修正后的数据传送给病变侧手指，继续执行以上三个步骤，最终使得误差在有效范围之内。本发明专利技术实时显示患者康复训练的数据，有效解决患者双手对称动作的时延问题，减少动作的误差，提高患者双手对称康复的效果，降低患者的时间成本以及增强患者治疗的积极性。

An error correction method for finger symmetrical rehabilitation based on Leap Motion

The invention provides a method for correcting the error of finger rehabilitation based on Leap Motion, which comprises the following steps: first, to predict the normal hand behavior of patients, Leap Motion to collect data of the two hands movement, and real-time display by the upper computer; second, to compare the data of the two hands movement by the computer; and third, to compare the data of the two hands movement by the computer. If the error is within the valid range, the quantified value of the patient's hand action will be output. If the error is not within the valid range, the prompt information will be output, and the data will be corrected by the algorithm. Step 4: Transfer the corrected data to the finger on the lesion side, and continue to perform the above three steps, so that the error will eventually exist. Within the scope of validity. The invention can display the data of patients'rehabilitation training in real time, effectively solve the problem of time delay of patients' symmetrical movement of both hands, reduce the error of movement, improve the effect of patients'symmetrical rehabilitation of both hands, reduce the time cost of patients and enhance the enthusiasm of patients' treatment.

【技术实现步骤摘要】
一种基于LeapMotion的手指对称康复误差修正方法
本专利技术涉及康复医疗设备领域，特别是一种基于LeapMotion的手指对称康复误差修正方法，适用于脑中风、车祸或老龄化等各种原因引起的手指偏瘫患者进行手指对称康复训练。
技术介绍
脑卒中是因各种诱发因素引起脑内动脉狭窄，闭塞或破裂，而造成急性脑血液循环障碍，可引发脑干局部神经功能缺损或消失，进而导致患者的身体出现偏瘫，尤其是手功能出现障碍，病变侧手指不能自主弯曲伸展以及丧失握持等运动功能，这对患者的生活造成诸多不良影响，也降低了患者的生活质量，给家庭和社会增加了很多负担。随着社会进入老龄化阶段，脑卒风的发病率大大升高，因此积极研究治疗脑中风所引起的手部功能障碍具有重大的意义。申请号为201710736343.8的中国专利公开了基于LeapMotion体感控制器的手部康复训练方法，引导患者完成康复动作的同时，通过体感交互设备获取患者的手部动作数据，在虚拟现实的环境下实时显示手部真实动作和标准动作，通过对两个动作进行比较判断患者的康复情况并给出评估，并且采用BP神经网络技术对患者的康复训练情况进行评估。但是其不能根据患者的正常手的实时运动情况对病变侧手指进行有效训练，也不能根据康复对象的变化而变化，例如老人和小孩的手指运动方式和速度是有差别的，只能根据输入的标准动作进行康复治疗，且BP神经网络具有随机初始化权值参数而容易陷入局部最优和训练时间长的特点，增加了患者康复的时间成本。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有问题，提出一种基于LeapMotion的手指对称康复误差修正方法，通过对患者的正常手进行行为预测，从而带动佩戴机械手的病变侧手指进行康复训练，可实时追踪患者正常手和病变侧手指的运动状态，并且保证双手对称的康复运动误差处于有效范围之内。本专利技术所采用的技术方案是：一种基于LeapMotion的手指康复误差修正方法，包括双手对称康复系统，所述双手对称康复系统包括患者的双手(正常手和佩戴的机械手的病变手)、LeapMotion体感控制器、计算机主机和显示器，包括以下步骤：(一)对患者的正常手进行行为预测；(二)LeapMotion体感控制器每1s采集患者双手动作的数据，并在显示屏上显示虚拟手；(三)上位机上实时显示患者双手动作的数据；(四)计算机对双手的数据进行对比，若误差在有效范围之内，则计算出患者动作完成的量化值；若误差超过有效范围，则输出提示信息，对数据进行误差修正，计算机将修正后的数据输送给患者的机械手，继续采集和修正数据；(五)输出患者手部康复训练的量化值并对训练系统进行评价。进一步地，在上述步骤(一)中对患者的正常手进行行为预测，包括每根手指关节的坐标位置和手指弯曲的角度以及指尖的移动速度。进一步地，在上述步骤(二)中LeapMotion体感控制器每1s对患者双手动作数据采集，上位机实时显示手的动作数据：左右手的辨别、手指弯曲的角度、手掌和指尖的位置和指尖移动的速度。进一步地，在上述步骤(四)中计算机在同一时刻对患者双手的数据进行对比，以大拇指为例，其余四个手指的操作步骤与之相同，其步骤如下：(a)建立坐标，LeapMotion系统使用右手笛卡尔坐标系，Unity3D使用左手笛卡尔坐标系,即它们的Z轴相反，Unity以米为单位，LeapMotion使用毫米。LeapMotion配备的Plugin脚本内部对坐标系统进行了转化，即将单位和坐标转化为Unity的标准，系统使用的是Unity的坐标；(b)正常手的行为预测值指尖坐标F0(x0，y0，z0),手指弯曲的角度θ1；(c)病变侧手指的指尖坐标N0(a0，b0，c0)，手指弯曲角度α1；(d)计算出正常手和病变侧手指指尖在1s内的移动速度v1和v2；(e)计算出指尖坐标的绝对误差Δy＝|y0-b0|,Δz＝|z0-c0|手指弯曲角度的绝对误差Δ1＝|θ1-α1|，手指指尖移动速度的绝对误差Δv＝|v1-v2|；进一步地，在上述步骤(e)中若误差在有效范围之内，则计算出患者动作完成的量化值，计算公式如下：Mark＝100-10(Δy+Δz+Δv+10sinΔ1)；进一步地，将每个手指的动作完成的量化值进行加权平均，最终得到系统的动作完成量化值。进一步地，在步骤(四)中运用深度信念神经网络DBN对系统进行误差修正，深度信念神经网络DBN是一种无监督学习下的机器学习模型，是由N个受限制的玻尔兹曼机单元构成，其步骤如下：DBN中无监督的贪婪算法采用的是自下而上的顺序，分层对DBN进行无监督学习。(1)首先将LeapMotion采集到的数据和所计算出的误差作为原始数据输入到最下面的RBM可视层中，训练第一层的RBM使其达到能量平衡；(2)将第一层训练后的隐藏层作为第二层RBM的可视层，继续训练第二层RBM使其达到能量平衡；(3)继续将第二层的隐藏层作为第三层的可视层，继续训练，直至最后一层；(4)对系统进行反向传播，对各层网络的参数进行微调,直至误差在有效范围之内。进一步地，所述的手指弯曲角度是由手指两两关节之间的角度差来确定的。进一步地，所述的指尖移动速度是在指尖在1s内位移与时间的比值。本专利技术的有益效果为：1、通过对患者的正常手进行行为预测，从而带动佩戴机械手的病变侧手指进行康复训练，可以有效减小双手对称动作的误差；2、通过正常手带动病变侧手指进行康复训练，可以根据患者自身的手指运动数据对病变侧手指的运动进行调整，有益于提高病变侧手指的康复效果；3、本系统采用深度信念神经网络DBN进行系统训练，对双手对称运动所产生的误差进行更加精确的修正，可以提高患者的训练效率，减少患者的康复治疗时间成本；4、可对患者的训练完成度进行评价，通过系统的训练，患者的神经系统能够得到有效刺激，增加患者治疗疾病的积极性，减少患者的康复训练时间，为社会减少医疗负担。附图说明图1为本专利技术的流程图；图2为本专利技术的结构图；图3为LeapMotion和Unity3D的坐标轴；图4为患者双手的简图，即正常手和病变手；图5为深度信念神经网络DBN训练流程；图示说明：a为患者病变手，b为LeapMotion控制器，c为计算机主机，d为计算机的显示器，e为患者的正常手。具体实施方式下面结合附图对本专利技术作详细说明。参见附图2，本专利技术提供了一种基于LeapMotion的手指对称康复误差修正方法的训练系统，包括双手对称康复系统，所述双手对称康复系统包括患者的正常手e和病变手a、LeapMotion体感控制器b、计算机主机c和显示器d。对于上述手指对称康复系统，本专利技术提供了一种基于LeapMotion的手指对称康复误差修正方法。实施例一：在本实施例中采用正常侧手指和病变侧手指完成动作的误差进行评估。本实施例的双手对称康复误差修正系统包括以下步骤：步骤(1)对患者的正常手e进行行为预测，包括指尖的坐标F0和手指弯曲的角度θ1,其中，θ1是由手指两两关节之间的角度的差值计算得出；步骤(2)将步骤(1)所得出的数据输送给病变手a；步骤(3)LeapMotion将双手弯曲的角度值和指尖的坐标输送给上位机并实时显示，其中包括正常手的行为预测值指尖坐标F0(x0，y0，z0)，手指弯曲的角度θ1，病变侧手指的指尖坐标N0(a0，b本文档来自技高网...

【技术保护点】
1.一种基于Leap Motion的手指康复误差修正方法，其特征在于，包括双手对称康复系统，所述双手对称康复系统包括患者的正常手和佩戴的机械手的病变手、Leap Motion体感控制器、计算机主机和显示器，包括以下步骤：(一)对患者的正常手进行行为预测；(二)Leap Motion体感控制器每1s采集患者双手动作的数据，并在显示屏上显示虚拟手；(三)上位机上实时显示患者双手动作的数据；(四)计算机对双手的数据进行对比，若误差在有效范围之内，则计算出患者动作完成的量化值；若误差超过有效范围，则输出提示信息，对数据进行误差修正，计算机将修正后的数据输送给患者的机械手，继续采集和修正数据；(五)输出患者手部康复训练的量化值并对训练系统进行评价。

【技术特征摘要】
1.一种基于LeapMotion的手指康复误差修正方法，其特征在于，包括双手对称康复系统，所述双手对称康复系统包括患者的正常手和佩戴的机械手的病变手、LeapMotion体感控制器、计算机主机和显示器，包括以下步骤：(一)对患者的正常手进行行为预测；(二)LeapMotion体感控制器每1s采集患者双手动作的数据，并在显示屏上显示虚拟手；(三)上位机上实时显示患者双手动作的数据；(四)计算机对双手的数据进行对比，若误差在有效范围之内，则计算出患者动作完成的量化值；若误差超过有效范围，则输出提示信息，对数据进行误差修正，计算机将修正后的数据输送给患者的机械手，继续采集和修正数据；(五)输出患者手部康复训练的量化值并对训练系统进行评价。2.根据权利要求1所述的一种基于LeapMotion的手指康复误差修正方法，其特征在于，在上述步骤(一)中对患者的正常手进行行为预测，包括每根手指关节的坐标位置和手指弯曲的角度以及指尖的移动速度。3.根据权利要求1所述的一种基于LeapMotion的手指康复误差修正方法，其特征在于，在上述步骤(二)中LeapMotion体感控制器每1s对患者双手动作数据采集，上位机实时显示手的动作数据：左右手的辨别、手指弯曲的角度、手掌和指尖的位置和指尖移动的速度。4.根据权利要求1所述的一种基于LeapMotion的手指康复误差修正方法，其特征在于，在上述步骤(四)中计算机在同一时刻对患者双手的数据进行对比，以大拇指为例，其余四个手指的操作步骤与之相同，其步骤如下：(a)建立坐标，LeapMotion系统使用右手笛卡尔坐标系，Unity3D使用左手笛卡尔坐标系,即它们的Z轴相反，Unity以米为单位，LeapMotion使用毫米；LeapMotion配备的Plugin脚本内部对坐标系统进行了转化，即将单位和坐标转化为Unity的标准，系统使用的是Unity的坐标；(b)正常手的行为预测值指尖坐标F0(x0，y0，z0),...

【专利技术属性】
技术研发人员：熊鹏文，李如意，熊宏锦，何孔飞，尹春辉，熊根良，陈海初，张华，李建清，宋爱国，
申请(专利权)人：南昌大学，
类型：发明
国别省市：江西,36