一种混合脑机接口驱动的康复辅助机器人制造技术

本发明专利技术公开了一种混合脑机接口驱动的康复辅助机器人，包括：数据采集模块，用于采集视线运动信息和运动想象脑电信号，以及采集用户脸部和目标物体的深度图像信息；PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，根据接收的图像信息提取出位置信息；机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂，用于按照机械臂控制模块的控制进行运动；反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号。本发明专利技术综合脑机接口技术与康复机器人技术两者的特点，更有利于病人康复训练。

【技术实现步骤摘要】
一种混合脑机接口驱动的康复辅助机器人
本专利技术涉及机器人领域，尤其涉及一种混合脑机接口驱动的康复辅助机器人。
技术介绍
传统的康复辅助机器人是通过机器带动肢体做重复性的运动，对控制肢体运动的神经系统进行刺激并促使其重建，康复机器人包含上肢和下肢两种康复机器人，大部分需要他人的辅助帮助患者使用，患者不能主动参与其中，缺乏准确的反馈的机制，不利于患者的积极参与和康复效果的准确反馈。传统的康复机器人都致力于使用者的肢体神经系统的恢复，无法给使用者提供辅助帮助，如对于许多严重瘫痪的病人，他们只能通过借助别人的帮助来完成一些日常生活所必须的活动，如吃食物、喝水等。脑机接口(BrainComputerInterface,BCI)是涉及神经科学、认知科学、计算机科学、控制及信息科学与技术、医学等多学科、多领域的人机接口方式，是在大脑和外部环境之间建立的神经信息交流与控制通道。本专利技术采用的是非侵入式脑机接口技术，通过采集与提取大脑产生的脑电信号特征，据此生成控制信号来完成大脑与外部设备进行信息传递与控制的任务，实现中枢神经系统与体内或者体外设备之间的直接交互，帮助患者实现大脑与计算机的交互，实现一些控制指令辅助患者康复或者生活。目前，存在部分已有研究将脑机接口技术与智能机器人技术相结合，如公开号为CN105425963A的专利《一种脑电波控制机械臂的系统》利用脑电波的信号获取注意力及放松度参数，来完成预设的机械臂控制动作。公开号为CN102198660A，专利技术名称为《基于脑-机接口的机械手臂控制系统及动作命令控制方案》，采用三种想象运动模式的脑机接口，切换和选择机械臂的运动模式，实现了机械臂抓与放，上、下、左、右、前、后八个预设动作指令。上述的专利技术专利，只是将脑机接口技术简单的和机器人技术结合，通过采集和分析脑电信号的特征，产生对机器人的控制指令，机器人根据预定义的指令完成一些预先定义的动作，该类技术缺乏相应的反馈机制，没有充分发挥出脑机接口与机器人技术相结合的优势。因此，亟待解决上述问题。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种混合脑机接口驱动的辅助康复机器人。技术方案：本专利技术所述的混合脑机接口驱动的康复辅助机器人包括：数据采集模块，用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体的深度图像信息；PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂，用于按照机械臂控制模块的控制进行运动；反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号。进一步的，所述数据采集模块具体包括：脑电信号采集单元，用于采集用户在进行运动想象时产生的运动想象脑电信号，并进行信号滤波、放大、模数转换后传输至PC处理模块；图像采集单元，采集位于目标位置的目标物体三维深度图像信息，以及采集用户脸部的深度图像信息，接收PC处理模块发送的指令，并从中解析出目标位置和用户脸部位置信息；视线追踪单元，用于采集用户的视线运动信息，并传输至机械臂控制模块。进一步的，所述PC处理模块具体包括：脑电数据处理单元，用于对用户的运动想象脑电信号进行预处理，提取出脑电特征信号，并根据预训练的分类器得到该脑电特征信号所对应的物体位置，作为用户想要抓取的目标物体的位置，生成包含目标物体位置的采集指令至数据采集模块；识别定位单元，用于根据数据采集模块采集的用户脸部和目标物体的深度图像信息提取出用户脸部和目标物体的位置信息；运动想象引导单元，用于播放引导用户运动想象的音频和视频。进一步的，所述机械臂控制模块具体包括：机械臂路径规划单元，用于根据用户脸部和目标物体的位置信息，规划机械臂以夹取目标物体的位置作为起点，用户的脸部位置作为终点的运动路径；机械臂运动控制单元，用于将数据采集模块发送的用户视线运动信息作为机械臂运动启停信号，按照规划的运动路径产生机械臂控制信号，控制机械臂的运动。进一步的，所述反馈模块具体包括：触觉检测装置，安装于机械臂末端执行器处，用于检测机械臂末端执行器的压力变化；震动反馈单元，用于在触觉检测装置检测到机械臂末端执行器压力增加时，发出夹取成功信号，提示用户目标物体夹取成功。进一步的，所述脑电信号采集单元包括依次连接的标准10-20导脑电极帽、多通道脑电放大器、模数转换器和信号传输单元。进一步的，所述图像采集单元包括两个Kinect相机，用于分别获取目标物体和用户脸部的深度图像信息。进一步的，所述视线追踪单元具体为眼动追踪仪，安装于PC处理模块显示器的正下方，用于通过测量眼睛的注视点的位置而实现对眼球运动的追踪。有益效果：本专利技术与现有技术相比，其显著优点是：1、本专利技术—混合脑机接口驱动的康复辅助机器人，基于运动想象脑机接口技术与康复辅助机器人技术相结合，只需用户提供运动想象脑电信号和眼动信号，康复辅助机器人的机械臂按照系统生成的规划路径工作为用户服务，该机器人的使用无需他人干预，用户一人即可操作，便于应用。2、本专利技术采用非侵入式的运动想象脑机接口技术，运动想象动作为左手、右手、双手和放松四种状态，用户使用简单、识别准确率高，适应性强。3、本专利技术采用力触觉检测和震动作为系统的反馈装置，确保了康复辅助机器人的安全性，具备更好的人机交互性。4、本专利技术采用眼动追踪技术控制机械臂的运动，避免了直接采用脑电信号控制由分类器导致的错误分类出现机械臂控制失误的问题，确保了康复辅助机器人的安全性。5、本专利技术将脑机接口技术、机器人控制技术、三维视觉定位技术相结合，实现用户使用意念控制机械臂，可自主选择所需目标物体，将目标物体成功抓取并送到用户的嘴附近。当目标物体为食物时，本专利技术可以实现瘫痪病人的自主进食，可改善使用者的生活质量，提升其自主生活能力。附图说明图1为本专利技术实施例的系统结构框图；图2为本专利技术实施例中目标物体位置与运动想象动作对应关系图；图3为本专利技术实施例的工作流程图。具体实施方式下面结合附图对本专利技术的技术方案作进一步说明，但本专利技术的实施方式不限于此。如图1所示，本专利技术为一种混合脑机接口驱动的康复辅助机器人，包括：数据采集模块、机械臂控制模块、机械臂、反馈模块及PC处理模块。数据采集模块用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体(例如食物)的深度图像信息；PC处理模块用于根据用户的运动想象脑电信号解析用户脑电意图获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；机械臂控制模块用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部(具体是嘴部)的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂用于按照机械臂控制模块的控制进行运动；反馈模块安装于机械臂上，用于反馈本文档来自技高网...

【技术保护点】
1.一种混合脑机接口驱动的康复辅助机器人，其特征在于包括：数据采集模块，用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体的深度图像信息；PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂，用于按照机械臂控制模块的控制进行运动；反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号。

【技术特征摘要】
1.一种混合脑机接口驱动的康复辅助机器人，其特征在于包括：数据采集模块，用于采集用户的视线运动信息和在进行运动想象时产生的运动想象脑电信号，以及根据PC处理模块指令采集用户脸部和目标物体的深度图像信息；PC处理模块，用于根据用户的运动想象脑电信号获取用户想要抓取的目标物体，向数据采集模块发送指令采集用户脸部和目标物体的深度图像信息，并根据接收的图像信息提取出位置信息；机械臂控制模块，用于根据用户脸部和目标物体的位置信息规划机械臂将目标物体运送到用户脸部的运动路径，以及综合用户的视线运动信息和规划的运动路径产生机械臂控制信号，控制机械臂的运动；机械臂，用于按照机械臂控制模块的控制进行运动；反馈模块，安装于机械臂上，用于反馈夹取目标物体是否成功的信号。2.根据权利要求1所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述数据采集模块具体包括：脑电信号采集单元，用于采集用户在进行运动想象时产生的运动想象脑电信号，并进行信号滤波、放大、模数转换后传输至PC处理模块；图像采集单元，用于采集位于目标位置的目标物体三维深度图像信息，以及采集用户脸部的深度图像信息，接收PC处理模块发送的指令，并从中解析出目标位置和用户脸部位置信息；视线追踪单元，用于采集用户的视线运动信息，并传输至机械臂控制模块。3.根据权利要求1所述的混合脑机接口驱动的康复辅助机器人，其特征在于：所述PC处理模块具体包括：脑电数据处理单元，用于对用户的运动想象脑电信号进行预处理，提取出脑电特征信号，并根据预训练的分类器解析用户脑电意图得到该脑电特征信号所对应的物体位置，作为用户想要抓取的目标物体的位置，...

【专利技术属性】
技术研发人员：徐宝国，张大林，李文龙，魏智唯，宋爱国，赵国普，李会军，曾洪，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32