一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统及方法技术方案

本发明专利技术公开了一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统及方法，利用AR眼镜采集用户视线信号，并将数据发送到树莓派系统控制器，控制器解算出凝视点在屏幕的二维坐标，稳定注视2s确认选定到达区域。控制器结合机械臂基座中心坐标系将注视点的二维坐标换算为机械臂末端竖直平面的二维坐标，并发送到机械臂，控制机械臂在末端平面运动。根据注视时间启动AR眼镜呈现模式开关量，利用AR眼镜呈现SSVEP脑电视觉刺激，同时利用脑电头盔采集人脑SSVEP脑电信号变化并发送至控制器，控制器解码用户注视上下左右四个颜色块闪烁刺激的脑电信息，从而触发机械臂在视野范围内前后运动、抓取与释放动作。抓取与释放动作。抓取与释放动作。

【技术实现步骤摘要】
一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统及方法


[0001]本专利技术涉及三维场景中人机交互
，具体涉及一种基于AR眼镜和SSVEP的智能机械臂控制系统及方法。

技术介绍

[0002]截瘫偏瘫患者、行动不便的老年人等的日常生活无法自理，需要相应的辅助康复的机械臂，以提高生活自主能力。同时，对于空间机械臂实现在轨建设和辅助航天员出舱等任务，在失重的环境影响下，航天员很难像在地面一样自如地操控空间机械臂。
[0003]现有技术包括脑机接口技术和视线追踪交互技术等，可以为用户实现无需肢体实际运动，无接触直观交互控制辅助机械臂完成相应的任务。申请号为2018104131378的中国专利技术专利申请公开了一种结合三维视线跟踪和脑机接口技术控制机械臂抓取物体方法和系统，但是三维坐标视觉追踪对于复杂场景或者目标视线目标点部分遮挡条件下，视线可以到达，机械臂末端却无法直接到达，不便于调整；其次，运动想象脑电控制对于用户具有较高的要求，并不能允许所有人都能直接使用，需要进行大量训练才有可能获得较好的效果；再者，运动想象脑电识别正确率低，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统，包括无线脑电采集帽、AR眼镜、树莓派、无线路由器、机械臂，其特征在于：所述无线路由器通过网线连接机械臂，通过无线实现无线脑电采集帽、AR眼镜、树莓派的无线通信，所述的AR眼镜包含眼动注视点追踪模块和SSVEP刺激界面，所述的树莓派包含机械臂逆运动学坐标转换模块和SSVEP脑电信号处理模块。2.如权利要求1所述的一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统，其特征在于：所述的眼动注视点追踪模块用于捕捉受试者的眼动追踪数据，SSVEP刺激界面呈现SSVEP刺激块，并将采集的视觉注视数据和SSVEP刺激标签发送至树莓派。3.如权利要求2所述的一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统，其特征在于：所述无线脑电采集帽，用于采集受试者注视所述的SSVEP视觉刺激界面上呈现的SSVEP刺激块时产生的脑电信号，并将所述脑电信号传输给树莓派。4.根据权利要求1所述的一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统，其特征在于：所述的AR眼镜为透视镜片显示，用于在视野前方叠加呈现真实场景、SSVEP刺激界面、注视点标注；所述的眼动注视点追踪模块，定位用户视线与前端视野空间中距离d0的竖直二维平面的交点位置，定义视野二维平面左上角为视觉初始位置(0，0)，向右为x轴正方向，向下为y轴正方向，右下角坐标为(x1,y1)，并将采集的注视点坐标发送至树莓派。5.如权利要求2所述的一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统，其特征在于：所述树莓派，用于使用机械臂逆运动学坐标转换模块解析注视情况和视点坐标，将注视点的平面二维坐标转化为机械臂末端的竖直平面二维坐标，通过逆运动学模型，根据目标点调整机械臂各关节姿态，控制机械臂末端在平面运动；通过解析视觉注视数据，根据注视时间长短和位置作为开关量控制AR眼镜中SSVEP刺激界面的呈现；使用SSVEP处理模块通过FBCCA算法和功率谱密度算法对所述脑电信号进行分类，获取注视频率和频率对应的控制指令，所述控制指令控制机械末端进行前后第三维空间运动。6.根据权利要求1所述的一种基于AR眼镜和SSVEP脑电的智能机械臂控制系统，其特征在于：所述机械臂逆运动学坐标转换具体包括：所述机械臂，以基座中心为坐标系原点，设定机械臂末端姿态固定朝向，机械臂末端以距离原点d所在竖直平面，执行二维平面运动；末端竖直平面坐标系与眼动视野二维平面坐标系定义方式相同，左上角为视觉初始位置(0，0)，向右为x轴正方向，向下为y轴正方向，右下角坐标为(x2...

【专利技术属性】
技术研发人员：马留洋，胡怡芳，胡争争，蔡玉宝，徐聪，袁道任，胡豪，刘琰，
申请(专利权)人：中国电子科技集团公司第二十七研究所，
类型：发明
国别省市：