当前位置: 首页 > 专利查询>安徽大学专利>正文

基于SSVEP-MI和脸部关键点检测融合的机器手控制方法技术

技术编号:41675112 阅读:21 留言:0更新日期:2024-06-14 15:30
本发明专利技术公开了基于SSVEP‑MI和脸部关键点检测融合的机器手控制方法,涉及机器手控制领域,本发明专利技术通过使用目标检测模型进行可抓取物体的检测,并在LED屏幕上根据物品区域叠加闪烁,脑机接口采集用户的稳态视觉诱发(SSVEP)信号;通过对采集的SSVEP信号进行预处理和分类,识别出用户关注的对象;并通过基于图像的抓取位姿算法计算相应的机器手抓取姿态,实现物品的自动抓取;本发明专利技术综合利用了SSVEP‑MI和脸部关键点检测,根据不同的物体采用不同的抓取姿态提高抓取的可靠性,采用多种范式融合有效解决了传统脑控机器手控制模式单一,抓取效率低下的问题,弥补了现有实际应用技术的不足,本发明专利技术主要应用于基于SSVEP‑MI和脸部动作的脑控机器手控制方法中。

【技术实现步骤摘要】

本专利技术涉及脑科学、人工智能、关键点检测领域,具体来说涉及一种基于脑机接口和脸部关键点识别的机器手控制方法。


技术介绍

1、脑机接口(brain computer interface,bci),指在人或动物大脑与外部设备之间创建的直接连接,实现脑与设备的信息交换。ssvep是一种通过视觉刺激引发大脑电活动的方法;在ssvep中,用户通过注视闪烁频率不同的光源或图案,从而引发特定频率的电位响应,运动想象是指通过想象特定的运动动作来激活大脑区域。

2、深度神经网络在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。

3、关键点检测,人脸关键点检测是指在给定的人脸图像中,自动定位并标记出人脸的关键点。这些关键点通常包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等部位的点。

4、目前的脑控机器手大多采用运动想象控制,其抓取目标选择到目标放置过程需要用户高度集中并重复想象,抓取效率低下,且无法做到针对放置位置选择的快速响应。

<br/>

本文档来自技高网...

【技术保护点】

1.基于SSVEP-MI和脸部关键点检测的机器手控制方法,其特征在于:该控制方法包括如下步骤:

2.根据权利要求1所述基于SSVEP-MI和脸部关键点检测的机器手控制方法,其特征在于:所述SSVEP刺激范式设计使用目标检测算法中的目标检测模型OWL-VIT来检测和跟踪具体物品,通过接收图像和具体物品描述,并输出具体物品的分割遮罩,对识别的具体物品通过LED显示叠加不同SSVEP刺激范式,并让用户专注于具体物品8到10秒钟,

3.根据权利要求2所述基于SSVEP-MI和脸部关键点检测的机器手控制方法,其特征在于:SSVEP刺激范式为6Hz、7.5Hz、9Hz 、11...

【技术特征摘要】

1.基于ssvep-mi和脸部关键点检测的机器手控制方法,其特征在于:该控制方法包括如下步骤:

2.根据权利要求1所述基于ssvep-mi和脸部关键点检测的机器手控制方法,其特征在于:所述ssvep刺激范式设计使用目标检测算法中的目标检测模型owl-vit来检测和跟踪具体物品,通过接收图像和具体物品描述,并输出具体物品的分割遮罩,对识别的具体物品通过led显示叠加不同ssvep刺激范式,并让用户专注于具体物品8到10秒钟,

3.根据权利要求2所述基于ssvep-mi和脸部关键点检测的机器手控制方法,其特征在于:ssvep刺激范式为6hz、7.5hz、9hz 、11hz中的其中一种。

4.根据权利要求3所述基于ssvep-mi和脸部关键点检测的机器手控制方法,其特征在于:基于asm的脸部动作控制机器手使用摄像头搜集用户脸部样本构建形状向量,<...

【专利技术属性】
技术研发人员:宋军沈杰张群煜钟骏佳宋嘉欢齐家伟任乘乘何舒平
申请(专利权)人:安徽大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1