【技术实现步骤摘要】
一种融合多模态疲劳监测与调控的RSVP目标识别系统及方法
[0001]本专利技术涉及人机混合的目标图像识别领域，尤其涉及一种融合多模态疲劳监测与调控的RSVP目标识别系统及方法，是一种基于P300脑电的结合近红外(near
‑
infrared spectroscopy，NIRS)信号、眼动信号和听觉反馈四个模态进行疲劳监测的目标识别训练系统及方法，能够实现基于RSVP(rapid serial visual presentation：快速序列视觉呈现)范式的多阶段渐进式目标识别训练与测试，能够实现大脑多模态疲劳监测与系统的自适应调节。
技术介绍
[0002]随着机器学习与人工智能的不断发展，基于大数据理论的计算机视觉目标识别技术被广泛应用，如：手写字体识别、人脸识别以及自动驾驶等领域，从简单的二维平面图像的识别不断发展为到繁杂多变三维空间物体识别，计算机视觉的发展对解放劳动力和提高工业农业以及生活效率有着重要作用。然而，对信息成分复杂且干扰信息较多的自然场景及微弱目标，计算机视觉无法做到快速而精准地识别。随...
【技术保护点】
【技术特征摘要】
1.一种融合多模态疲劳监测与调控的RSVP目标识别系统，包括信号采集帽(1)、脑电信号放大器(2)、近红外脑功能成像仪(3)、眼动仪(4)、耳机(5)和电脑(6)，其特征在于：所述信号采集帽(1)连接脑电信号放大器(2)的输入端和近红外脑功能成像仪(3)的输入端；所述电脑(6)的主机(7)连接脑电信号放大器(2)的输出端、近红外脑功能成像仪(3)的输出端、眼动仪(4)的输出端和耳机(5)接口；所述电脑(6)由主机(7)、显示器(8)、键盘(9)、P300解码单元(10)、NIRS解析单元(11)、眼动数据分析单元(12)和反应时间分析单元(13)构成，显示器(8)显示训练系统界面，使用者头部穿戴信号采集帽(1)，戴上耳机(5)并通过显示器(8)注视信息界面，听到提示音后立即按下键盘(9)的任意键；所述眼动仪(4)水平固定于所述显示器(8)的屏幕正下方的边沿上，实时采集使用者的眼动数据；所述融合多模态疲劳监测与调控的RSVP目标识别系统计算出使用者的目标识别率，作为衡量使用者个人识别能力的评价指标；所述融合多模态疲劳监测与调控的RSVP目标识别系统还通过多模态指标联合评估人脑的疲劳状态并自适应调节图像呈现频率，实现长时间工作状态下的目标图片的识别。2.根据权利要求1所述融合多模态疲劳监测与调控的RSVP目标识别系统，其特征在于：训练人员戴好信号采集帽(1)和耳机(5)，打开电脑(6)中的训练系统界面，根据需要选择不同的训练阶段；训练开始后，基于RSVP范式，显示界面以设定的频率随机显示目标图片与非目标图片，训练人员注视显示界面，信号采集帽(1)上的脑电电极采集训练人员的脑电信号，经过脑电信号放大器(2)的放大后传输给电脑(6)中的P300解码单元(10)，由于训练人员在看到目标图片之后的不超过300毫秒，诱发P300脑电信号，通过滤波处理、特征提取和分类识别算法对诱发脑电信号进行解码，解码结果结合目标图片对应的标签信息用于计算训练人员的目标识别率，进而评估识别能力；P300解码单元(10)对脑电进行频谱分析，通过FFT求出各个波段的功率，根据α波、β波和θ波的功率计算(α+β)/θ比值R，初步评估训练人员的大脑疲劳程度，作为衡量综合疲劳指数的指标S1；信号采集帽(1)上的近红外发射器发射近红外光，由于脑组织中HbO2和Hb对近红外光具有不同的吸收谱，近红外光射入脑部，经过脑组织中HbO2和Hb吸收衰减后射出，近红外探测器把接收光强的变化转换成数字信号传输给电脑(6)中的NIRS解析单元(11)，通过计算rSO2初步评估训练人员的大脑疲劳程度，作为衡量综合疲劳指数的指标S2；眼动仪(4)采集训练人员的瞳孔直径数据传输给电脑(6)中的眼动数据分析单元(12)，根据PERCLOS算法中P80的标准，即通过计算单位时间内瞳孔被遮住超过80％的时间占单位时间的百分比的大小，初步评估训练人员的大脑疲劳程度，作为衡量综合疲劳指数的指标S3；在训练过程中，电脑(6)随机多次播放短音频，训练人员在听到音频的瞬间以最快速度按下键盘(9)上的任意按键，电脑(6)中的反应时间分析单元(13)会记录音频播放时刻的时间标签和训练人员按下键盘(9)按键的时间标签，通过计算两个标签的时间差得出反应时间T，根据反应时间经验分布曲线初步评估训练人员的大脑疲劳程度，作为衡量综合疲劳指数的指标S4；联合所述的指标S1、指标S2、指标S3和指标S4，计算综合疲劳度F评分，得出综合疲劳度F评级，系统根据综合疲劳度F评级衡量大脑疲劳度，疲劳度评级越高，图片的呈现频率会越
低，从而保证目标图片的识别正确率。3.根据权利要求1所述融合多模态疲劳监测与调控的RSVP目标识别系统，其特征在于：所述信号采集帽(1)由脑电采集电极部分和近红外发射器与接收器部分构成；脑电采集电极部分为32导联的湿电极，通过并行通讯线缆与脑电信号放大器(2)连接，传输采集的脑电信号；近红外发射器与接收器部分为8个发射端与8接收端结构，构成的24个近红外光通道的采集区域，通过并行通讯线缆与近红外脑功能成像仪(3)连接，传输采集的近红外光信号。4.根据权利要求1所述融合多模态疲劳监测与调控的RSVP目标识别系统，其特征在于：所述电脑(6)的主机(7)为训练系统的运行平台，接收脑电信号放大器(2)传送过来的脑电数据、近红外脑功能成像仪(3)传送过来的光信号数据、眼动仪(4)传送过来的眼动数据和键盘(9)传送过来的操作指令；所述显示器(8)用于显示系统的功能界面和图片界面；所述键盘(9)用于训练人员对显示器(8)所显示的系统界面进行操作，以及对听到的声音进行按键反应。5.根据权利要求1所述融合多模态疲劳监测与调控的RSVP目标识别系统，其特征在于：所述的训练系统界面，包括1个登录界面和6个功能界面；登录界面包括用户名、密码、用户类型、确定和取消；6个功能界面分别为训练模式选择界面、EEG信号监测与处理界面、NIRS信号监测与处理界面、眼动信号监测与处理界面、按键信号监测与处理界面、综合疲劳度评估界面；训练模式选择界面用于给训练人员根据需要选择训练模式，每种模式可以自行设定相应的参数，包括认知模式、参数自定义模式和参数自适应模式3种模式；EEG信号监测与处理界面用于训练过程中及训练完成后对训练人员的脑电数据进行分析，包括查询、波形记录、频谱分析和数值计算共4个部分，在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。