融合眼动方向分类和增强现实技术的手功能康复训练系统技术方案

本发明专利技术公开了一种融合眼动方向分类和增强现实技术的手功能康复训练系统，其包括脑电采集设备、数据解析模块、数据预处理模块、卷积神经网络模块、手功能康复模块，脑电采集设备获取患者眼球运动相关通道的原始脑电信号，数据解析模块接收脑电信号并解析为数据格式可处理的脑电信号，数据预处理模块对脑电信号进行预处理，卷积神经网络模块接收预处理后的脑电信号并进行模型训练和测试，得到分类结果后将分类结果作为与手功能康复模块交互的指令。本发明专利技术将增强现实和眼动识别技术相结合，带给脑卒中患者更加舒适的康复体验，满足患者的交互需求，提高患者参与康复的积极性。提高患者参与康复的积极性。提高患者参与康复的积极性。

【技术实现步骤摘要】
融合眼动方向分类和增强现实技术的手功能康复训练系统


[0001]本专利技术涉及一种手功能康复训练系统，特别是涉及一种融合眼动方向分类和增强现实技术的手功能康复训练系统。

技术介绍

[0002]随着我国人口的老龄化，脑卒中发病率日益增加，患者的日常行为活动受到严重影响，主要临床表现为难以完成抓、握、对指等基本手部动作。为了更加有效的促进脑卒中患者的手功能康复，基于脑机接口(Brain
‑
Computer Interface,BCI)技术的康复训练系统应运而生，并且越来越广泛得应用于临床治疗。
[0003]但是处于康复初期的患者以卧姿为主，他们需要经过漫长的适应和熟悉阶段才能正式进入康复疗程，期间患者注意力经常难以集中，影响了康复进程和康复效果。原因在于，传统计算机显示方法难以提高患者主动参与康复训练的积极性。即使虚拟现实技术的出现能够提供一定程度的逼真体验，但是仍会给患者带来晕动和疲劳问题，最终还是会影响患者进行手部康复训练的舒适度。增强现实是在虚拟现实基础上不断发展的新型显示技术，且能够解决人在虚拟现实中的眩晕感问题，通过刺激多个感官来帮助大脑高级中枢整合，建立新的信息接收和处理通道，结合双侧协同康复训练方法，激活两大脑半球间的耦联机制，更有助于手功能康复。
[0004]另外，康复初期患者存在日常交互需求，而现有的手功能康复系统无法满足患者的日常交互需求，患者很难自主完成康复训练等任务，而是需要康复治疗师完成大量辅助工作，导致人工成本极高。基于生物电信号的意图表达是一种自然便捷的人机交互方式，而眼球的运动是主要方式之一，因此眼动是一种合适的控制指令。其实在进入BCI康复疗程前，患者可以通过眼动来实现人机交互，满足互动需求。
[0005]眼球运动可以通过多种方式进行捕获，但传统方法对于康复初期患者的适用性较低，比如：一，采用贴片电极方式测得眼电图的方法，由于电极贴在眼睛周围会降低视野，长时间佩戴容易造成面部肌肉不适，同时影响信号质量，不适用于康复过程；二，眼动仪是通过计算机图像的方式捕获眼球运动，但要不仅要负担设备成本，还要负担康复治疗师的学习成本。

技术实现思路

[0006]针对上述情况，为了克服现有技术的缺陷，本专利技术提供一种融合眼动方向分类和增强现实技术的手功能康复训练系统。
[0007]本专利技术是通过下述技术方案来解决上述技术问题的：一种融合眼动方向分类和增强现实技术的手功能康复训练系统，其特征在于，其包括脑电采集设备、数据解析模块、数据预处理模块、卷积神经网络模块、手功能康复模块，脑电采集设备获取患者眼球运动相关通道的原始脑电信号，数据解析模块接收脑电信号并解析为数据格式可处理的脑电信号，数据预处理模块对脑电信号进行预处理，卷积神经网络模块接收预处理后的脑电信号并进
行模型训练和测试，得到分类结果后将分类结果作为与手功能康复模块交互的指令。
[0008]优选地，所述患者的头部戴脑电采集设备和增强现实设备，患侧手部佩戴气动手套。
[0009]优选地，所述患者在增强现实设备中的系统界面选择要康复的动作，从而进入对应康复场景。
[0010]优选地，所述脑电采集设备使用的是国际10
‑
20导联分布方式。
[0011]优选地，所述数据预处理模块采用以下算法：移除基线算法，归一化算法，最小二乘法拟合算法。
[0012]优选地，所述卷积神经网络模块包括卷积神经网络模型，卷积神经网络模型包括以下七层：一个输入层、一个批标准化层、一个卷积层、一个最大池化层、一个展平层、一个全连接层和一个输出层。
[0013]本专利技术的积极进步效果在于：为了降低康复成本，解决虚拟现实技术的眩晕感，满足患者的交互需求，提高患者参与康复的积极性，本专利技术将增强现实和眼动识别技术相结合，带给脑卒中患者更加舒适的康复体验。本专利技术中的设备轻便友好，方便脑卒中康复初期患者在卧姿状态下随时随地使用，其中的显示部分采用增强现实技术，在周围现实环境可见的条件下，叠加数字化的可交互康复场景，为患者带来更强的趣味性和引导性，进而调动患者进行康复训练的积极性。本专利技术基于脑卒中康复训练系统的技术背景，无需额外设备就能获得患者在康复初期的眼动数据，而且更准确、更稳定。本专利技术还将眼球运动作为控制指令与增强现实场景进行交互，实现技术创新，在促进患者注意力表现的同时，能够一定程度上满足初期患者的交互需求。本专利技术采用的眼动方向识别算法，能够得到较高的准确率，能够验证方法的可行性，进而保证眼动控制命令的精确度，带给患者更佳的康复体验，具有很大的实用性。
附图说明
[0014]图1为本专利技术融合眼动方向分类和增强现实技术的手功能康复训练系统的模块框图。
[0015]图2为本专利技术融合眼动方向分类和增强现实技术的手功能康复训练系统的原理图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0017]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0018]如图1所示，本专利技术融合眼动方向分类和增强现实技术的手功能康复训练系统包括脑电采集设备1、数据解析模块2、数据预处理模块3、卷积神经网络模块4、手功能康复模块5，脑电采集设备获取患者眼球运动相关通道的原始脑电信号，数据解析模块接收脑电信
号并解析为数据格式可处理的脑电信号，数据预处理模块对脑电信号进行预处理，卷积神经网络模块接收预处理后的脑电信号并进行模型训练和测试，得到分类结果后将分类结果作为与手功能康复模块交互的指令。
[0019]如图2所示，患者的头部戴脑电采集设备和增强现实设备，患侧手部佩戴气动手套。患者在增强现实设备中的系统界面选择要康复的动作，从而进入对应康复场景。康复场景内通过视觉和听觉提示患者在进度条显示的规定时间内，完成场景内要求的训练动作，比如通过患侧手将康复场景内的草莓抓取至该侧位置，患者使用健侧手将康复场景内的草莓抓取至该侧位置，完成该动作的同时气动手套启动，带动患侧手进行同样的抓握动作训练。向患者提供视觉反馈，表示完成的正确与否。康复场景内会自动播放四种背景音乐的任意一首，患者通过眼球的上下左右运动，对其进行曲目切换选择，每个方向各代表一首曲目。
[0020]脑电采集设备使用的是国际10
‑
20导联分布方式，获取的是额叶位置F7、T3、F8和T4四个通道的脑电数据，采样率300Hz。
[0021]数据预处理模块采用以下算法：
[0022]一，移除基线算法：来自相应电极的每个通道的EEG信号可以表示为如下式(1)：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合眼动方向分类和增强现实技术的手功能康复训练系统，其特征在于，其包括脑电采集设备、数据解析模块、数据预处理模块、卷积神经网络模块、手功能康复模块，脑电采集设备获取患者眼球运动相关通道的原始脑电信号，数据解析模块接收脑电信号并解析为数据格式可处理的脑电信号，数据预处理模块对脑电信号进行预处理，卷积神经网络模块接收预处理后的脑电信号并进行模型训练和测试，得到分类结果后将分类结果作为与手功能康复模块交互的指令。2.如权利要求1所述的融合眼动方向分类和增强现实技术的手功能康复训练系统，其特征在于，所述患者的头部戴脑电采集设备和增强现实设备，患侧手部佩戴气动手套。3.如权利要求2所述的融合眼动方向分类和增强现实技术的手功能康复训练系统，其特征在于，所述患...

【专利技术属性】
技术研发人员：杨帮华，庄皓东，
申请(专利权)人：上海大学，
类型：发明
国别省市：