【技术实现步骤摘要】
本专利技术属于脑机接口，具体涉及基于多模态脑机接口主动式控制的手部外骨骼系统及方法。
技术介绍
1、脑卒中是一种常见的神经系统疾病，其后果之一是上肢运动功能丧失，尤其是手部运动功能的丧失；手部运动功能的丧失对患者的生活产生了深远的影响，影响到日常生活的方方面面，包括但不限于自理能力、社交活动、以及职业等各个层面；目前，传统的手部运动功能康复方法主要依赖于医院的康复治疗师，他们通过向患者手部施加力量，帮助患者进行被动式的康复训练；然而，这样的操作过程存在一些问题，如康复周期较长、费用较高，而且很难实现对神经系统的有效恢复。
2、随着科技的发展，脑机接口技术逐渐成为一种创新的手部康复方法；脑机接口通过捕捉患者大脑中与手部运动相关的神经信号，将这些信号转化为机械动作，从而实现对手部外骨骼或其他辅助装置的主动式控制；运动想象是其中的一种关键技术，通过让患者在脑中想象手部运动的过程，脑机接口系统能够解析这些神经信号，并将其转化为相应的机械动作。
3、多模态脑机接口是脑机接口技术的进一步演进，它整合了多种脑信号和传感器输入，提供更为丰富和复杂的信息，以实现更高水平的控制和交互；在应用于脑卒中康复中，多模态脑机接口展示了独特的优势。
4、多模态脑机接口结合手部外骨骼技术，可以为患者提供更主动、灵活的康复方式；患者通过多模态脑机接口系统，能够实时控制手部外骨骼完成各种运动任务，促进神经系统的再生和功能的恢复；相较于传统的被动式康复方法，优势在于其更直接地与患者的神经系统互动，使得康复过程更为个性化、高效。p>
技术实现思路
1、本专利技术的目的在于提供基于多模态脑机接口主动式控制的手部外骨骼系统及方法，通过多模态脑机接口，解码用户的控制意图，并将其转化为对外骨骼系统的控制指令，从而实现患者对手部外骨骼系统的主动控制，帮助患者进行手部功能的训练和康复。
2、为实现上述目的，本专利技术第一方面提出基于多模态脑机接口主动式控制的手部外骨骼系统，包括：信号采集模块，使用电极帽或可穿戴式脑机接口设备，用于采集用户的脑电、注意力水平等生理信号，本专利技术中采用可穿戴式5通道智能头环，采集用户的脑电信号和注意力水平等多模态信号；算法模块，用于对采集到的多模态信号进行分析，通过深度学习算法获得用户的多模态信号模型，在在线控制时对用户的实时多模态信号进行分析，判断用户的控制意图；指令生成模块，用于生成控制指令；控制执行模块，用于根据系统生成的指令，控制手部外骨骼执行对应的动作；人机交互模块，用于展示系统的控制界面、对控制任务进程进行引导以及展示虚拟手的运动；通信模块，用于在信号采集模块和算法模块间传输采集到的脑电信号，在设备上为智能头环向计算机传输采集到的脑电信号，可采用蓝牙、wifi、zigbee通信技术；还用于在指令生成模块和控制执行模块间传输系统生成的控制指令，在设备上为计算机向手部外骨骼系统传输系统生成的控制指令，可采用蓝牙、wifi、zigbee通信技术。
3、本专利技术的第二方面提出了一种基于多模态脑机接口的手部外骨骼主动式控制方法；该控制方法，由离线训练和在线控制两个部分组成，具体包括以下步骤：在离线训练部分，用户训练自己的多模态信号离线模型，根据任务不同包括但不限于p300、sssvep、运动想象、注意力水平信号，所获得的离线模型用于在在线训练中进行判断；在在线控制部分，系统根据用户预先训练的离线模型，对用户实时的多模态信号进行判断，解析用户的控制意图，控制手部外骨骼执行相应的动作。
4、在一些实施方式中，用户通过多模态脑机接口主动式控制手部外骨骼执行抓握动作；采集用户的运动想象脑电和注意力水平信号进行离线训练，获得对应的离线模型；离线训练过程中有想象和放松两种任务；在想象任务下，用户跟随人机交互界面上虚拟手的运动引导，想象自身患侧手进行相同的运动；在放松任务下，用户根据人机交互界面上的休息指令放松自己，不进行想象；想象任务和放松任务随机出现，在离线训练过程中，实时获取用户的多模态信号并传输至计算机，等到两种任务各执行满30-60次后，结束离线训练；离线算法对用户离线训练的运动想象脑电和注意力水平数据进行分析，获得用户的运动想象脑电模型和注意力水平模型；在线控制任务中，实时获取用户的运动想象脑电信号和注意力水平信号并传输至计算机，人机交互界面上的虚拟手不再自动运动，用户需要主动地想象患侧手运动；在线算法对用户的脑电信号和注意力水平实时分析，若判断用户有运动意图，则人机交互界面上的虚拟手开始运动，为用户提供视觉反馈，系统生成运动指令传输至手部外骨骼，控制手部外骨骼执行两次连续的抓握动作；若系统判断用户没有运动意图，人机交互界面上的虚拟手不运动，手部外骨骼不执行任何动作。
5、在一些实施方式中，用户通过多模态脑机接口主动式控制手部外骨骼的任意手指组合运动；用户需要先选择需要控制的手指组合，然后通过运动想象主动式地控制外骨骼中对应的手指运动；在离线训练中采集用户注意力水平信号、运动想象脑电信号和所需的其他信号，进行离线训练，获得对应的离线模型；根据任务设计不同，所需的其他信号可以包括p300脑电信号、ssvep脑电信号、眼电信号、肌电信号等电生理信号，离线训练过程中在训练运动想象脑电模型时有想象和放松两种任务；在想象任务下，用户跟随人机交互界面上虚拟手的运动引导，想象自身患侧手进行相同的运动；在放松任务下，用户根据人机交互界面上的休息指令放松自己，不进行想象；想象任务和放松任务随机出现，在离线训练过程中，实时获取用户的多模态信号并传输至计算机，等到两种任务各执行满30-60次后，结束离线训练；所需的其他信号根据信号特点进行相应的离线训练；离线算法对用户离线训练的多模态信号进行分析，获得用户个性化的不同信号离线模型，用于在线控制任务中的选择判断和运动判断；在线控制任务中，用户需要先选择需要运动的手指，然后控制对应的外骨骼手指进行运动；实时获取用户的多模态信号并传输至计算机，人机交互界面上的虚拟手不再自动运动，用户需要主动地想象患侧手运动；在线算法对用户的多模态信号进行实时分析，先判断用户想要选择的手指组合，然后若判断用户有运动意图，则人机交互界面上的虚拟手开始运动，为用户提供视觉反馈，系统生成运动指令传输至手部外骨骼，控制被选择的外骨骼手指运动。
6、与现有技术相比，本专利技术的有益效果是：
7、通过多模态脑机接口为康复外骨骼系统提供了更灵活、智能的控制手段，实现了从被动康复向主动康复的转变，更好地促进手部运动功能的康复；首先，系统通过捕捉患者的多模态信号，能够提供个性化的康复计划，更好地适应患者的独特需求；其次，通过引导运动想象，患者能够主动参与康复过程，增强其积极性和信心；有助于促进大脑与手部神经的重新连接，加速神经再生和康复过程；同时，系统的引导和反馈能够提高外骨骼运动的准确性和协调性，对于康复手部精细运动功能至关重要；最终，通过改善手部功能，系统能显著提升脑卒中患者的生活质量，使他们更能够独立进行日常活动，增加社交参与度，同时降低康复过程中的心理负本文档来自技高网...
【技术保护点】
1.基于多模态脑机接口主动式控制的手部外骨骼系统，其特征在于：包括
2.根据权利要求1所述的基于多模态脑机接口主动式控制的手部外骨骼系统，其特征在于：所述信号采集模块使用电极帽或可穿戴式脑机接口设备，采集用户的脑电信号和注意力水平信号。
3.根据权利要求1所述的基于多模态脑机接口主动式控制的手部外骨骼系统，其特征在于：系统通过P300、SSVEP、眼电或肌电信号，实现对手部外骨骼系统任意手指的运动控制的选择。
4.基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：
5.根据权利要求4所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：所述离线训练部分用于获得用户的运动想象脑电模型和注意力水平模型；所述在线控制部分允许用户通过执行运动想象主动地控制手部外骨骼。
6.根据权利要求4所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：实时采集用户在离线训练部分和在线控制部分的脑电信号和注意力水平信号，并传输至计算机保存和进一步分析。
7.根据权利要求4所述的基于多模态脑机
8.根据权利要求7所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：当用户分别累计执行30-60次想象任务和30-60次放松任务后，结束离线训练，系统通过深度学习算法对用户在离线训练过程中的脑电数据进行分析，获得用户的运动想象脑电模型和注意力水平模型。
9.根据权利要求8所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：用户在得到自己的运动想象脑电模型和注意力水平模型后开始进行在线控制部分，此时人机交互界面上的虚拟手不再自动运动，用户需要主动地想象患侧手运动，虚拟手跟随用户的运动想象情况运动。
10.根据权利要求9所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：对用户在在线控制过程中的脑电数据和注意力水平数据分别依据其运动想象脑电模型和注意力水平模型进行实时分析。
...【技术特征摘要】
1.基于多模态脑机接口主动式控制的手部外骨骼系统，其特征在于：包括
2.根据权利要求1所述的基于多模态脑机接口主动式控制的手部外骨骼系统，其特征在于：所述信号采集模块使用电极帽或可穿戴式脑机接口设备，采集用户的脑电信号和注意力水平信号。
3.根据权利要求1所述的基于多模态脑机接口主动式控制的手部外骨骼系统，其特征在于：系统通过p300、ssvep、眼电或肌电信号，实现对手部外骨骼系统任意手指的运动控制的选择。
4.基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：
5.根据权利要求4所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：所述离线训练部分用于获得用户的运动想象脑电模型和注意力水平模型；所述在线控制部分允许用户通过执行运动想象主动地控制手部外骨骼。
6.根据权利要求4所述的基于多模态脑机接口的手部外骨骼系统主动式控制方法，其特征在于：实时采集用户在离线训练部分和在线控制部分的脑电信号和注意力水平信号，并传输至计算机保存和进一步分析。
7.根据权利要求4所述的基于多模态脑机接口的手部外骨骼系统主动式控制方...
【专利技术属性】
技术研发人员：李远清，陆子霖，饶祖广，
申请(专利权)人：华南脑控广东智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。