【技术实现步骤摘要】
本专利技术属于脑机接口、人机交互，涉及一种控制康复机器人运动的多模态脑机融合方法及系统。
技术介绍
1、功能代偿型康复机器人，如智能轮椅，其传统人机交互操作控制方法多依赖于手柄控制、语音控制和显示屏触屏控制，难以适用于患有渐冻症、中风、脑瘫等完全丧失运动、语言表达功能的患者。于此同时，仅通过预定义的逻辑规则进行有限目标选择的控制策略，无法真正帮助残疾患者恢复基本的生活自理能力。
2、随着脑科学领域的发展，脑机接口技术作为一种新颖的人机交互方式，通过机器学习对脑电信号进行解码，可实现人脑与功能代偿型康复机器人之间的直接交互和智能控制。其中，视觉诱发脑控范式因具有控制指令多、信息传输率高的优点，目前大部分的脑控轮椅使用该范式进行外围设备的控制。但由于该范式需要用户注视特定频率的外部视觉刺激才能够实现对外围设备的准确控制，易造成视觉疲劳。
3、此外，现有的脑控方法多通过视觉诱发指令对智能轮椅的运动方向进行简单的模式控制，这一策略的灵活性、自主性以及动态环境下的适应性仍有所欠缺。为了解决单一范式所带来的局限性，研究人员将基于自发的运动想象脑控范式引入视觉诱发范式，可有效优化功能代偿型康复机器人的运动控制性能。
4、虽然运动想象脑控范式具有可自发产生脑电信号的优点，但仍存在控制指令少的不足，在大部分情况下，运动想象控制指令难以实现对多目标任务的准确控制。知识图谱是一种把不同种类的信息连接而合成的一个关系网络，把实体或概念表示成“点”，把实体或概念间的关系表示成“边”。知识图谱自带语义信息，蕴涵逻辑规则，
技术实现思路
1、针对现有技术中存在的问题，本专利技术提供一种控制康复机器人运动的多模态脑机融合方法及系统，从而解决现有技术中康复机器人灵活性较差、自主性较差以及在动态环境下的适应性较差的技术问题。
2、本专利技术是通过以下技术方案来实现：
3、一种控制康复机器人运动的多模态脑机融合方法，包括：
4、获取由基于场景地图刺激的视觉诱发范式或由基于静态语义目标观察的精密运动想象范式而产生的脑电信号；
5、对基于场景地图刺激的视觉诱发范式而产生的脑电信号进行解析，或对基于静态语义目标观察的精密运动想象范式产生的脑电信号进行解析，并结合基于知识驱动的知识图谱推理过程得到脑控意图，完成所述多模态脑机融合控制过程。
6、一种控制康复机器人运动的多模态脑机融合系统，包括：
7、数据获取模块，所述数据获取模块用于获取由基于场景地图刺激的视觉诱发范式或由基于静态语义目标观察的精密运动想象范式而产生的脑电信号；
8、数据处理模块，所述数据处理模块用于对基于场景地图刺激的视觉诱发范式而产生的脑电信号进行解析，或对基于静态语义目标观察的精密运动想象范式产生的脑电信号进行解析，并结合基于知识驱动的知识图谱推理过程得到脑控意图，完成所述多模态脑机融合控制过程。
9、一种复合功能代偿型康复机器人，包括轮椅本体；所述轮椅本体上设有图像获取模块、图像呈现模块、脑电信息采集模块、上述的多模态脑机融合系统、运动控制模块以及执行模块；
10、所述图像获取模块与图像呈现模块通讯；
11、所述脑电信息采集模块、多模态脑机融合系统、运动控制模块以及执行模块依次通讯；
12、所述图像获取模块与运动控制模块通讯；
13、所述复合功能代偿型康复机器人执行任务时，脑电信息采集模块采集受图像呈现模块刺激后产生的脑电信号，并将所述脑电信号传输至所述多模态脑机融合系统；
14、所述多模态脑机融合系统包括数据获取模块以及数据处理模块；
15、所述数据获取模块用于获取由基于场景地图刺激的视觉诱发范式或由基于静态语义目标观察的精密运动想象范式而产生的脑电信号；
16、所述数据处理模块用于对基于场景地图刺激的视觉诱发范式而产生的脑电信号进行解析，或对基于静态语义目标观察的精密运动想象范式产生的脑电信号进行解析，并结合基于知识驱动的知识图谱推理过程得到脑控意图，完成所述多模态脑机融合控制过程，并将解析后的脑电信号的运动意图发送至运动控制模块，所述运动控制模块控制所述执行模块执行相应运动意图。
17、优选的，所述图像呈现模块包括混合范式呈现模块；所述混合范式呈现模块包括视觉诱发范式单元以及精密运动想象范式单元；
18、所述视觉诱发范式单元用于接收并呈现各房间场景图像信息；
19、所述精密运动想象范式单元用于接收并呈现各目标物体图像信息，同时呈现需要进行运动想象的精密运动手势图片。
20、优选的，所述图像获取模块包括激光雷达传感器单元以及视觉感知单元；
21、所述激光雷达传感器单元用于扫描动态室内场景环境，生成点云数据信息，完成室内场景地图构建，将建好的地图信息发送至多模态脑机融合系统；并实时构建室内场景地图并分割出地图中包含的子房间区域图，并将子房间区域图像发送至混合范式呈现模块；同时将子房间的位置信息以及康复机器人所在的实时位置信息发送至运动控制模块；
22、所述视觉感知单元用于检测康复机器人所处非结构化环境下的场景图片信息，将场景图片信息发送至多模态脑机融合系统，所述多模态脑机融合系统检测所述场景图片信息，并提取具有语义信息的静态目标物体信息，将其发送至混合范式呈现模块；所述静态目标物体信息包括静态目标物体位置信息和目标类别标签信息；同时，所述视觉感知单元将物体在环境中的三维坐标信息以及执行模块当前的位姿信息发送至运动控制模块，将目标类别标签信息发送至数据处理模块。
23、优选的，所述数据处理模块包括脑电信号处理模块以及物体可供性知识图谱推理模块；
24、所述脑电信号处理模块用于对获取的脑电信号信息进行意图解码，并将解码出的脑控意图发送至运动控制模块，所述运动控制模块根据接收的信息控制执行模块执行任务；
25、所述解码出的脑控意图包括脑控抓取意图和脑控移动意图；
26、所述物体可供性知识图谱推理模块用于接收来自视觉感知单元传送的目标类别标签信息以及脑电信号处理模块解码出的脑控抓取意图推理出最终的脑控抓取意图，并根据推理出最终的脑控抓取意图控制执行模块执行抓取任务。
27、优选的，所述运动控制模块用于接收图像获取模块传输过来的房间位置信息、物体的位置信息、执行模块当前位姿信息，以及脑电信号处理模块传输过来的脑控意图，并控制执行模块执行所述脑控意图。
28、优选的，所述执行模块包括移动执行模块以及抓取执行模块；
29、所述移动执行模块用于根据解码出的脑控移动意图以及康复机器人目前所处的位置信息实现康复机器人的移动；
30、所述抓取执行模块用于根据解码出的脑控抓取意图以及待抓取物在环境中的三维坐标信息实现物体的抓取。
31、一种终端设备，包括存储器、处理器以及存储在本文档来自技高网...
【技术保护点】
1.一种控制康复机器人运动的多模态脑机融合方法，其特征在于，包括：
2.一种控制康复机器人运动的多模态脑机融合系统，其特征在于，包括：
3.一种复合功能代偿型康复机器人，其特征在于，包括轮椅本体(201)；所述轮椅本体(201)上设有图像获取模块、图像呈现模块、脑电信息采集模块、权利要求2中所述的多模态脑机融合系统、运动控制模块以及执行模块；
4.根据权利要求3所述的一种复合功能代偿型康复机器人，其特征在于，所述图像呈现模块包括混合范式呈现模块(105)；所述混合范式呈现模块(105)包括视觉诱发范式单元(208)以及精密运动想象范式单元(209)；
5.根据权利要求4所述的一种复合功能代偿型康复机器人，其特征在于，所述图像获取模块包括激光雷达传感器单元(302)以及视觉感知单元(304)；
6.根据权利要求5所述的一种复合功能代偿型康复机器人，其特征在于，所述数据处理模块包括脑电信号处理模块(102)以及物体可供性知识图谱推理模块(106)；
7.根据权利要求6所述的一种复合功能代偿型康复机器人，其特征在于
8.根据权利要求7所述的一种复合功能代偿型康复机器人，其特征在于，所述执行模块包括移动执行模块(204)以及抓取执行模块(303)；
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1中所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1中所述方法的步骤。
...【技术特征摘要】
1.一种控制康复机器人运动的多模态脑机融合方法，其特征在于，包括：
2.一种控制康复机器人运动的多模态脑机融合系统，其特征在于，包括：
3.一种复合功能代偿型康复机器人，其特征在于，包括轮椅本体(201)；所述轮椅本体(201)上设有图像获取模块、图像呈现模块、脑电信息采集模块、权利要求2中所述的多模态脑机融合系统、运动控制模块以及执行模块；
4.根据权利要求3所述的一种复合功能代偿型康复机器人，其特征在于，所述图像呈现模块包括混合范式呈现模块(105)；所述混合范式呈现模块(105)包括视觉诱发范式单元(208)以及精密运动想象范式单元(209)；
5.根据权利要求4所述的一种复合功能代偿型康复机器人，其特征在于，所述图像获取模块包括激光雷达传感器单元(302)以及视觉感知单元(304)；
6.根据权利要求5所述的一种复合功能代偿型康复机器人，其特征在于，所述...
【专利技术属性】
技术研发人员：李睿，刘锦莉，杨世强，周劲草，张亦弛，白端阳，颜润田，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。