一种用于作业机器人的AR-脑控识别方法及系统技术方案

本发明专利技术涉及AR

【技术实现步骤摘要】
一种用于作业机器人的AR
‑
脑控识别方法及系统


[0001]本专利技术涉及AR
‑
脑控
，尤其涉及一种用于作业机器人的AR
‑
脑控识别方法及系统。

技术介绍

[0002]随着科技进步的同时，仍然有因为意外或者生病，导致肢体残疾、意识模糊，甚至是生活不能自理的人。在他们的日常生活中如吃饭，他们无法用言语或者行为来表达自己的意识，这容易导致消极的不良心态，而且影响生活质量，所以需要通过作业机器人进行辅助。
[0003]现有的作业机器人是识别不同碗，从而产生不同颜色的LED灯光，根据LED灯的颜色刺激病人产生不同的脑电信号，从而指导作业机器人执行相应的动作，但白天LED灯光识别性不高，而且灯光闪烁长时间容易眼睛疲劳。
[0004]另外，目前基于深度学习算法发展迅速，但是深度学习算法计算资源需求太大和内存消耗严重使得成本较高。

技术实现思路

[0005]针对现有方法的不足，本专利技术利用YOLOV5s目标检测方法降低计算复杂度和空间复杂度，提高作业机器人的响应速度；同时利用OpenCV函数将目标检测矩形框进行不同频率闪烁，从而形成视觉刺激范式。
[0006]本专利技术所采用的技术方案是：一种用于作业机器人的AR
‑
脑控识别方法及系统包括以下步骤：
[0007]步骤一、构建被检测目标数据集，并进行对被检测目标进行标注；
[0008]步骤二、通过改进YOLOv5s模型对被检测目标进行识别，得到被检测目标的检测框的类别概率、得分和检测框位置；
[0009]进一步的，改进YOLOv5s模型包括将YOLOv5s模型PANET中CSP模块替换为多分支空洞卷积结构RFBBottleneck模块，使训练参数量减少感受野增大，提高检测精度。
[0010]进一步的，改进YOLOv5s模型包括将YOLOv5s模型Backbone中Conv模块替换为GhostConv模块，使参数量和计算量减少。
[0011]步骤三、对检测框进行不同颜色、粗细和不同频率设置，通过不同频率形成视觉刺激范式，不同频率的红黑闪烁显示在AR显示屏上。
[0012]进一步的，通过OpenCV中TextSize函数将YOLOV5s模型得到的矩形检测框进行粗细设置，通过cvtColorget函数对检测框的颜色设置，通过cvtColorget函数将不同的检测框设置为不同的闪烁频率，根据不同闪烁频率形成不同的视觉刺激范式。
[0013]用于作业机器人的AR
‑
脑控识别方法的系统，包括：视觉系统、AR显示屏、AI目标识别模块和通信模块，视觉系统用于使用者观察画面视频数据的采集；AR显示屏用于显示视觉系统采集的图像被AI目标识别模块处理而反馈的视觉刺激范式；AI目标识别模块用于被
检测目标进行识别，并对不同的被检测目标绘制不同闪烁频率的视觉刺激范式；通信模块用于视觉系统、AR显示屏和AI目标识别模块的数据交互。
[0014]本专利技术的有益效果：
[0015]1、本专利技术在PANET中采用优化后的多分支空洞卷积结构RFBBottleneck模块，改进后的颈部特征提取网络RFB
‑
PANET可以通过更少的参数量获得更大的感受野，提取更精确的目标特征，从而提高检测精度；
[0016]2、利用OpenCV函数将目标检测框标注颜色并并以不同频率闪烁的视觉刺激范式，从而克服LED灯受环境影响，刺激脑电信号弱的缺点。
附图说明
[0017]图1是本专利技术的基于轻量化改进后的目标检测算法RFBG
‑
YOLOv5s网络结构；
[0018]图2是本专利技术的系统连接示意图。
具体实施方式
[0019]下面结合附图和实施例对本专利技术作进一步说明，此图为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0020]如图1所示，一种用于作业机器人的AR
‑
脑控识别方法，包括以下步骤：
[0021]步骤一、构建被检测目标数据集，并进行对被检测目标进行标注；
[0022]本实施例中被检测目标为从左到右的依次摆放的3个碗。
[0023]步骤二、通过改进YOLOv5s模型对被检测目标进行识别，得到被检测目标的检测框的类别概率、得分和检测框位置；检测框位置的坐标用于引导机械手装置抓取碗中食物。
[0024]现有的YOLOV5s模型分为Input、Backbone、Neck、Head四个部分，Input会进行Mosaic数据增强、对图片尺寸进行自适应处理以及锚框计算优化，Mosaic数据增强为了丰富图片信息，将四张图片组合在一起，拼接得到的图片会缩放到标准尺寸再参与训练，有效提高了检测准确率；Backbone主要包含CSP、Focus和空间金字塔池化SPP模块；CSP模块能够减少计算复杂度，并且加强网络的学习性能；Focus模块通过切片操作将通道数增加；SPP实现了深层语义信息与浅层语义信息的融合，对网络的检测精度进一步提高；Neck中采用了PANET的结构，将深层与浅层特征相融合的FPN层与浅层合并深层特征的特征金字塔进行结合，对Backbone中不同网络层的信息进行融合，对模型的特征提取做了增强；Head获取到一个向量，该向量能够描述待检测目标的类别概率、得分和检测框的位置。检测头一共有三层，每层特征图的尺寸都不一样，是为了检测不同尺寸大小的目标对象；每个检测头会获取到不同的向量，基于该向量获取到原图像中的目标的预测框位置及类别信息。
[0025]YOLOv5s模型的Bottleneck结构使得颈部特征提取网络PANET的特征提取不够充分，从而影响了YOLOv5s的检测精度；在PANET中采用优化后的多分支空洞卷积结构RFBBottleneck模块(简称为RFB
‑
CSP)，改进后的颈部特征提取网络RFB
‑
PANET可以通过更少的参数量获得更大的感受野，提取更精确的目标特征，从而提高检测精度。
[0026]由于改进后的RFB
‑
PANET特征融合方式相比改进前的PANET结构更加复杂，需要通过3个不同分支的空洞卷积层来提取特征，推理时间增大，会增加计算复杂度。为了提升模型的实时性，降低计算复杂度，使检测模型更加轻量化，引入GhostConv替换普通卷积，在不
影响检测精度的同时，降低模型的参数量和计算量，进行预测输出检测结果。
[0027]步骤三、对检测框进行不同颜色、粗细和不同频率设置，通过不同频率形成视觉刺激范式。
[0028]绘制不同闪烁频率的视觉刺激范式，由于传统的SSVEP脑控机器人使用过程中，操作复杂，而且使用条件受限，白天灯光识别性不高，如果通过LED灯光闪烁，长时间眼睛容易疲劳，而且白天LED灯容易受到光线影响，导致产生的脑电信号较弱；通过OpenCV中TextSize函数将YOLO本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于作业机器人的AR
‑
脑控识别方法，其特征在于，包括以下步骤：步骤一、构建被检测目标数据集，并对被检测目标进行标注；步骤二、通过改进YOLOv5s模型对被检测目标进行识别，得到被检测目标的检测框的类别概率、得分和检测框位置；步骤三、对检测框进行不同颜色、粗细和不同频率设置，通过检测框的不同频率形成视觉刺激范式。2.根据权利要求1所述的用于作业机器人的AR
‑
脑控识别方法，其特征在于，改进YOLOv5s模型包括将YOLOv5s模型PANET中CSP模块替换为多分支空洞卷积结构RFBBottleneck模块，使训练参数量减少感受野增大，提高检测精度。3.根据权利要求1所述的用于作业机器人的AR
‑
脑控识别方法，其特征在于，改进YOLOv5s模型还包括将YOLOv5s模型Backbone中Conv模块替换为GhostConv模块，使训练参数量和计算量减少。...

【专利技术属性】
技术研发人员：吕继东，王凌云，邹凌，黄敬贤，李文杰，周天彤，戎海龙，
申请(专利权)人：常州大学，
类型：发明
国别省市：