基于EEG与迁移学习的疲劳状态实时检测系统技术方案

本发明专利技术公开了一种基于EEG与迁移学习的疲劳状态实时检测系统。本发明专利技术包括信号采集模块、WPF可视化模块以及远程计算模块。信号采集模块通过开源软件Openvibe连接脑电帽采集设备获得原始脑电信号，并通过VRPN通信协议与WPF可视化模块相连；WPF可视化模块与远程计算模块通过WebSocket通信协议相连。信号采集模块将采集到的被试的实时EEG信号进行通道筛选然后发送给WPF可视化模块，WPF可视化模块作为中间媒介将获得的脑电信号分段后传送给远程计算模块。远程计算模块获得对应被试的脑电数据后会训练生成相匹配的判别网络模型，该模型将判断回馈给WPF可视化模块进行数据可视化以及疲劳状态预警。本发明专利技术使用方便、快速准确，便于进行疲劳状态的实时检测，并对其进行疲劳预警。警。警。

【技术实现步骤摘要】
基于EEG与迁移学习的疲劳状态实时检测系统


[0001]本专利技术涉及一种疲劳状态实时检测系统，尤其是一种基于脑电信号(EEG)与迁移学习的疲劳状态实时检测系统。

技术介绍

[0002]近年来，随着交通事故数量的迅速增加，人们的生命和财产遭受了巨大的损失，全球每年约有130万人在交通事故中丧生，其中疲劳状态下的驾驶(疲劳驾驶)是交通事故的主要原因之一。因此，设计并实现一套能够对疲劳驾驶准确地做出预警的系统，对减少因疲劳驾驶导致的生命和财产损失有重大意义。
[0003]基于EEG的心理状态分析方法是一种有效且客观的疲劳检测方法，但是传统的EEG分析方法主要还是停留在被试之间的学习训练，而跨被试的研究还比较少。在EEG分析的真实场景中，由于不同被试间的脑电信号存在差异,甚至同一被试的EEG信号随着时间的变化也会存在差异，这使得传统的分析方法容易产生不准确的分析和错误的决策。因此，应考虑基于迁移学习的分析方法。迁移学习被广泛用于预测想象力和语音识别领域的模型上，因为它可以有效地将某个领域上学习到的知识应用到不同但相关的领域中，用于完成某些特定的决策任务，这种理念在EEG的跨被试分析上也是适用的。
[0004]在实际应用中，现有的基于EEG的实时检测系统存在以下几点不足之处：
①
EEG的分析算法在跨被试的应用场景下判别能力不足；
②
EEG设备通常有多个电极来记录来自不同脑区通道以及不同频段的信号，多通道的数据量规模巨大，导致对心理疲劳检测系统的实时性、采集设备的便携性提出了很高的要求；
③
本地终端的计算能力有限，会对疲劳检测算法的模型训练产生阻碍。在考察分析上述不足的情况下，我们将EEG与迁移学习模型在线化，并探索其在疲劳状态实时检测系统上的应用。

技术实现思路

[0005]本专利技术的目的是为了解决上述现有系统方案在疲劳驾驶实时检测中存在的缺陷，提供了一个基于EEG与迁移学习的疲劳状态实时检测系统，该系统使用Openvibe及VRPN
‑
WebSocket双通信协议结合的模式，获得实时脑电信号分段传输到远程服务器进行模型训练及计算；同时对臃肿的脑电数据进行了通道优化，大幅度减少计算复杂度，减轻采集终端的负载压力，有利于疲劳状态的实时检测。本系统利用GDANN迁移学习方法和E
ff
频谱信息量化指标这两种判断方法的结合获得一个综合计算模型，使疲劳状态的实时判断更加准确全面。
[0006]本专利技术的目的可以通过采取如下技术方案达到：
[0007]基于EEG与迁移学习的疲劳状态实时检测系统，包括信号采集模块、WPF可视化模块以及远程计算模块；所述信号采集模块通过开源软件Openvibe连接脑电帽采集设备获得原始脑电信号，并通过VRPN通信协议与WPF可视化模块相连，所述WPF可视化模块与远程计算模块通过WebSocket通信协议相连。信号采集模块负责将采集到的被试的实时EEG信号进
行通道筛选然后发送给WPF可视化模块，WPF可视化模块作为中间媒介将获得的脑电信号分段后传送给远程计算模块。远程计算模块获得对应被试的脑电数据后会训练生成相匹配的判别网络模型，该模型能对被试的实时精神状态进行判断打分，从而回馈给WPF可视化模块进行数据可视化以及疲劳状态预警。
[0008]优选的，所述信号采集模块包括脑电帽采集设备、Openvibe信号采集单元以及VRPN通信单元:
[0009]所述脑电帽采集设备为市面上通用的非侵入式脑电帽装置；所述Openvibe信号采集单元为开源EEG处理软件，支持匹配多型号的脑电脑采集设备，并进行自定义EEG信号处理；所述VRPN通信单元为Openvibe信号采集单元的外延功能，用来接收开始采集的信号以及将采集到的脑电信号转发给自研软件做后续处理。
[0010]优选的，所述WPF可视化模块包含VRPN通信单元、范式可视化单元以及WebSocket通信单元：
[0011]所述VRPN通信单元用来发送开始以及结束采集的刺激给信号采集模块，同时接收来自信号采集模块的实时EEG信号，对其进行分段操作之后，通过WebSocket通信单元与远程计算模块相连；所述范式可视化单元，包括范式选择可视化界面、静息态数据获取可视化界面、精神状态良好可视化界面以及精神状态欠佳可视化界面。
[0012]优选的，所述远程计算模块包括WebSocket通信单元、数据预处理单元以及模型计算单元：
[0013]所述WebSocket通信单元用来接收来自WPF可视化模块的分段脑电信号，并在模型计算后将计算出的精神状态判断结果回传回去；所述数据预处理单元对获得的分段EEG信号进行统一的在线预处理操作，包括EEG处理领域通用的空间滤波器、时间滤波器以及PSD频谱特征提取；所述模型计算单元对经过数据预处理单元处理后的脑电信号进行GDANN迁移学习模型训练以及E
ff
频谱计算量化指标，结合之后得到一个百分制的分数反馈给WPF可视化模块进行数据可视化以及疲劳状态预警。
[0014]进一步的，信号采集模块由开源软件Openvibe开发完成，WPF可视化模块由WPF和C#脚本开发完成，远程计算模块由Python以及WebSocket模块开发完成，并且对应数据预处理由Scikit
‑
learn模块开发完成，以及模型计算单元由Pytorch和Numpy模块开发完成。
[0015]进一步的，被试打开WPF可视化模块，即WPF本地终端，先选择数据演示对象，包含已有数据库的数据回放以及现场采集两种模式，然后对可视化范式进行挑选；
[0016]更进一步的，在被试挑选好范式之后，选择“启动设备”操作，来启动信号采集模块的Openvibe信号采集单元，从而通过VRPN通信单元不断获得实时脑电信号；同时，Openvibe信号采集单元会将脑电帽采集设备的默认原始通道进行优化，挑选出对疲劳状态比较敏感的若干个通道进行数据采集，大大降低终端负载压力；
[0017]更进一步的，在启动设备后，被试需先选择“静息态”范式可视化界面，进行2分钟的静息态脑电信号采集，这段时间采集到的脑电信号将由WebSocket通信单元实时发送给远程计算模块进行模型训练，作为后续状态判断的基准线；
[0018]更进一步的，当WPF可视化模块接收到来自远程计算模块的代表模型已经训练完成的提示信号后，被试可进入“疲劳检测”范式可视化界面进行疲劳状态的实时检测；在“疲劳检测”可视化界面，会显示被试的实时精神状态分数，状态良好时提示“您目前的状态良
好！”，状态欠佳，即稍显疲劳时，会红色感叹号提示“您目前的情况不大好！”；
[0019]进一步的，脑电信号的delta波反应了睡眠、疲劳的潜意识状态，theta波代表了困倦、深度放松的潜意识状态，alpha波代表了清醒、安静的潜意识状态，beta波代表了思维活动、忙碌、紧张的潜意识状态，常将上述频段组合使用，用来对被试的精神状态进行判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于包括信号采集模块、WPF可视化模块以及远程计算模块；所述信号采集模块通过开源软件Openvibe连接脑电帽采集设备获得原始脑电信号，并通过VRPN通信协议与WPF可视化模块相连；所述WPF可视化模块与远程计算模块通过WebSocket通信协议相连；信号采集模块负责将采集到的被试的实时原始脑电信号进行通道筛选然后发送给WPF可视化模块，WPF可视化模块作为中间媒介将获得的脑电数据分段后传送给远程计算模块；远程计算模块获得对应被试的脑电数据后会训练生成相匹配的判别网络模型，该判别网络模型能对被试的实时精神状态进行判断，从而回馈给WPF可视化模块进行数据可视化以及疲劳状态预警。2.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所述信号采集模块包括脑电帽采集设备、Openvibe信号采集单元以及VRPN通信单元；所述脑电帽采集设备为通用的非侵入式脑电帽装置；所述Openvibe信号采集单元为开源EEG处理软件，支持匹配多型号的脑电脑采集设备，并能够进行EEG信号处理；所述VRPN通信单元为Openvibe信号采集单元的外延功能，用来接收开始采集的信号以及将采集到的脑电信号转发给自研软件做后续处理。3.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所述WPF可视化模块包含VRPN通信单元、范式可视化单元以及WebSocket通信单元；所述VRPN通信单元用来发送开始以及结束采集的信号给信号采集模块，同时接收来自信号采集模块的实时脑电信号，对其进行分段操作；通过WebSocket通信单元与远程计算模块相连；所述范式可视化单元包括范式选择可视化界面、静息态数据获取可视化界面、精神状态良好可视化界面以及精神状态欠佳可视化界面。4.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所述远程计算模块包括WebSocket通信单元、数据预处理单元以及模型计算单元；所述WebSocket通信单元用来接收来自WPF可视化模块的分段脑电信号，并将模型计算单元计算出的精神状态判断结果回传；所述数据预处理单元对获得的分段脑电信号进行统一在线预处理操作，包括空间滤波器、时间滤波器以及PSD频谱特征提取；所述模型计算单元对经过数据预处理单元处理后的脑电信号进行GDANN迁移学习模型训练以及E
ff
频谱计算量化指标，两者结合后得到一个百分制的分数反馈给WPF可视化模块进行数据可视化以及疲劳状态预警。5.根据权利...

【专利技术属性】
技术研发人员：曾虹，李秀峰，郑浩浩，李明明，徐非凡，潘登，张振炎，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：