一种基于BCI的高级机械臂控制系统及其实现方法技术方案

本发明专利技术涉及一种基于BCI的高级机械臂控制系统及其实现方法，该系统包括机器视觉子系统、脑‑机接口子系统和机械臂子系统；脑‑机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，机器视觉子系统通过照相方式识别和定位目标物件的坐标，脑‑机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，机器臂子系统根据控制命令进行操作。本发明专利技术设计合理，能够在线解码人的控制意图生成计算机可识别的控制信号并控制机械臂进行操作，实现精准的多目标化的控制功能，具有安全、高效可靠的特点。

An Advanced Manipulator Control System Based on BCI and Its Implementation

The invention relates to an advanced manipulator control system based on BCI and its implementation method, which includes machine vision subsystem, brain-computer interface subsystem and manipulator subsystem; brain-computer interface subsystem and machine vision subsystem communicate with manipulator subsystem through TCP/IP; machine vision subsystem identifies and locates coordinates of target object by photography, brain-computer interface subsystem and machine vision subsystem. The computer interface subsystem collects scalp EEG signals generated by steady-state visual evoked potentials and performs real-time analysis, feature extraction, on-line decoding of human control intentions and generating computer-recognizable control commands. The machine arm subsystem operates according to control commands. The invention has reasonable design, can decode the control intent of the human on-line to generate a computer-recognizable control signal and control the manipulator to operate, realizes accurate multi-objective control function, and has the characteristics of safety, high efficiency and reliability.

【技术实现步骤摘要】
一种基于BCI的高级机械臂控制系统及其实现方法
本专利技术属于智能机器人
，尤其是一种基于BCI的高级机械臂控制系统及其实现方法。
技术介绍
有很多残疾人虽然四肢完全瘫痪，无法满足正常日常生活需求，但是，这些人群的大脑和整个神经网络依然可以正常工作。为了实现这一类人能够有正常生活的诉求，同时缓解社会的经济压力和护理工作量，融合了现代各种高新技术可极大地缓解窘迫的现状。科研人员也越来越多的将其他技术应用到脑科学研究，特别是关于脑机接口设备的研发和应用。机器人可以在一定环境下解决护理问题，同时满足患者的生活需求，并能帮助提升其信心，具有巨大的社会价值。与当前主流的通过按钮和声控或者其他控制策略来控制机器人的方式不同，基于BCI的高级机械臂控制系统是非侵入式系统，脑机接口是一种从人头皮采集脑电信号并分析，是一种更为方便、安全和有效的控制方式，再加之高性价比，越来越受到研发人员和市场的欢迎。脑科学研究有多种检测脑活动的方式，其中基于稳态视觉诱发电位的脑-机接口可以很好地应用于人体，是患者能够会更加舒适、有效的体验日常生活。基于BCI(脑-机接口)的机器人控制系统已经被广泛应用于机器人、轮椅等各种现代自控领域中。通过采集脑电信号并分析，控制外部设备实现一定的目的，可以使四肢运动受损者实现正常的生活。中国专利文献“腰部可穿戴功能辅助机器臂”(专利申请号201510130861.6)提供了一种腰部可穿戴功能辅助机器臂，用来辅助帮助正常人和老年人的作业，减少劳动强度。中国专利文献“用眼动信号控制上假肢运动的控制系统和控制方法”(专利申请号201110215580.2)设计了一套基于眼动信号控制上假肢运动的控制系统。中国专利文献“一种假手柔顺抓取操作的串行多模态脑控方法”(专利申请号201510988443.0)设计了一种假手柔顺抓取物体的方法，受试通过视觉刺激识别要实现的动作，在此基础上通过采集4种面部表情所产生的脑电信号，处理后产生控制上肢机器臂的控制指令进而控制假手完成4种既定的动作。但是，上述专利普遍存在安全性差、控制方式不灵活且操作复杂等问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种设计合理、安全可靠且控制方式灵活方便的基于BCI的高级机械臂控制系统及其实现方法。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于BCI的高级机械臂控制系统，包括机器视觉子系统、脑-机接口子系统和机械臂子系统；所述脑-机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，所述机器视觉子系统通过照相方式识别和定位目标物件的坐标，所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，所述机器臂子系统根据控制命令进行操作。所述脑-机接口子系统采用高频SSVEP-BCI子系统，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连；所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理并形成控制命令。所述电极为9个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ。所述脑电信号获取模块采用便携式脑电放大器，其数据采样率为1000Hz，并进行在线50Hz工频陷波。所述机器臂子系统包括机械臂和机器人控制器，该机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统，所述机械臂固定在一台安装有滚轮的光学平台上。所述机器视觉子系统包括照相机和安装在计算机主机内的机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块通过图像预处理、图像分割、特征提取和物体识别实现目标物件的定位功能。一种基于BCI的高级机械臂控制系统的实现方法，包括以下步骤：步骤1、将机器视觉子系统、脑-机接口子系统和机械臂子系统连接在一起；步骤2、脑-机接口子系统将刺激界面投射到计算机显示屏上，刺激界面包括命令和相对应的刺激频率；步骤3、机器视觉子系统对目标物件拍照并识别和定位目标物件的坐标；步骤4、使用者集中注意力观察计算机显示器上的以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号获取模块采集，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，然后通过机器视觉子系统定位，将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制；步骤5、机器臂子系统根据使用者注意力的集中程度做出相应的反馈，同时机械臂拾取相应目标对象并将其放置在所需位置；步骤6、返回步骤4并重复执行，进行下一次目标块识别任务，选择新的目标进行抓取。所述刺激界面包含4个命令，呈现2×2排列，从左往右，第一行为矩形和圆形，第二行为三角和返回，前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作；四个命令对应的刺激频率分别为30、31、32、33Hz。所述步骤3的具体实现包括以下处理过程：图像采集处理、图像灰度处理、中值滤波处理、二值化处理、消除小物体处理、图像分割处理以及检测物体边界并定位。所述步骤4的具体处理过程如下：⑴脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；⑵脑-机接口子系统对采集到的脑电信号进行线性趋势的滤出,并在此基础上进行50Hz的工频率波；⑶脑-机接口子系统对SSVEPs的振幅谱和信噪比进行了分析；(4)脑-机接口子系统采用过滤库规范相关分析，对4类高频ssvep进行分类，采用以下加权相关系数作为目标识别的特征：其中n是子带的指数，子带分量的权重定义如下：w(n)＝n-a+b，n∈[1N]其中a和b是最大化分类性能的常数，参考信号的频率与最大被认为是ssvep的频率；(5)脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；(6)脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将反馈结果传输给机器视觉子系统定位目标，并通过TCP/IP与机械臂子系统进行通信，实现操作功能。本专利技术的优点和积极效果是：1、本专利技术的控制系统将机器视觉、脑-机接口和机械臂有机地结合在一起，通过机器视觉识别和定位目标物件的坐标，通过脑-机接口采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取，从而在线解码人的控制意图生成计算机可识别的控制信号并控制机械臂进行操作，实现精准的多目标化的控制功能，具有安全、高效可靠的特点。2、本专利技术的视觉诱发电位脑-机接口的刺激频率在30Hz左右，频率比较高，能够提升使用者的舒适度。3、本专利技术所构建的稳态视觉诱发电位脑-机接口不需要训练就可以帮助使用者进行实时的操作控制，节省培训所需要的时间。4、本专利技术可实现精准的多目标化本文档来自技高网...

【技术保护点】
1.一种基于BCI的高级机械臂控制系统，其特征在于：包括机器视觉子系统、脑‑机接口子系统和机械臂子系统；所述脑‑机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，所述机器视觉子系统通过照相方式识别和定位目标物件的坐标，所述脑‑机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，所述机器臂子系统根据控制命令进行操作。

【技术特征摘要】
1.一种基于BCI的高级机械臂控制系统，其特征在于：包括机器视觉子系统、脑-机接口子系统和机械臂子系统；所述脑-机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，所述机器视觉子系统通过照相方式识别和定位目标物件的坐标，所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，所述机器臂子系统根据控制命令进行操作。2.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述脑-机接口子系统采用高频SSVEP-BCI子系统，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连；所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理并形成控制命令。3.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述电极为9个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ。4.根据权利要求2所述的基于BCI的高级机械臂控制系统，其特征在于：所述脑电信号获取模块采用便携式脑电放大器，其数据采样率为1000Hz，并进行在线50Hz工频陷波。5.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述机器臂子系统包括机械臂和机器人控制器，该机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统，所述机械臂固定在一台安装有滚轮的光学平台上。6.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述机器视觉子系统包括照相机和安装在计算机主机内的机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块通过图像预处理、图像分割、特征提取和物体识别实现目标物件的定位功能。7.一种根据权利要求1至6任一项所述基于BCI的高级机械臂控制系统的实现方法，其特征在于包括以下步骤：步骤1、将机器视觉子系统、脑-机接口子系统和机械臂...

【专利技术属性】
技术研发人员：陈小刚，
申请(专利权)人：中国医学科学院生物医学工程研究所，
类型：发明
国别省市：天津,12