基于深度学习的实时脑疲劳监测装置及数据处理方法制造方法及图纸

本发明专利技术公开了一种基于深度学习的实时脑疲劳监测装置和数据处理方法，采用一种具有高度的集成性，同时通过一根弹性软带环绕在头上的便携式的前额可穿戴装置，实时采集大脑前额叶的血氧信号，实时地显示当前脑功能活动地形图，对数据进行预处理，包括去运动伪影、滑动平均和巴特沃斯带通滤波处理和修正的朗伯

【技术实现步骤摘要】
基于深度学习的实时脑疲劳监测装置及数据处理方法


[0001]本专利技术涉及一种近红外前额脑成像疲劳检测装置。特别是涉及一种基于深度学习的前额叶脑成像装置和数据处理方法。

技术介绍

[0002]由于驾驶员在驾驶过程中缺乏警觉和警惕，社会上因驾驶疲劳而导致的交通事故比例越来越高。因此，驾驶疲劳已成为道路悲剧的主要原因之一。造成严重后果的原因可能是缺乏对潜在事故的感知，缺乏对交通状况的认识，以及无法控制车辆。最近的统计结果显示，司机精神上的疲劳对司机和其他交通肇事者的生命构成了毁灭性的威胁。由于疲劳驾驶和酒后驾驶长期以来一直是影响公共安全的最严重的交通问题，因此对这两种情况进行信号检测的尝试已经存在多年。对于酒后驾车，几十年来，人们采用了不同的方法来检测、控制和预防酒后驾车，如酒精传感器、基于STM32的脑波信号采集设备、模拟和数字集成电路模块等。但是，现有的各种成熟的驾驶疲劳检测方法仍然受到一些限制，脑电图(EEG)技术很容易受到眼睛或身体其他部位运动的影响，另外，噪声对脑电信号的影响也特别大。眼电图(EOG)技术的分析需要有关人眼运动的信息，如眨眼、眼皮运动、快速眼动(REM)和慢速眼动(SEM)。这些信号可以用来提取有关疲劳程度的信息，但这些信息只反映人体疲劳程度的某一方面，不能全面测量驾驶员的疲劳程度。
[0003]额叶是大脑中最大的部分，影响着我们的个性、智力、行为和自我意识，脑前额叶皮层负责行为计划、决策、情绪控制、自我意识和独立于他人。因此一个人的疲劳程度会在大脑前额叶有重要体现。
[0004]便携式近红外前额脑成像疲劳监测装置采用功能近红外光谱技术(fNIRS)，能够无创地连续测定氧合血红蛋白和脱氧血红蛋白的浓度变化。近红外探测器能够克服EEG和EOG在灵活性方面的缺点，因为它的结果不受身体部位运动的影响。此外，非侵入性和便携性等其他优点使其在疲劳检测技术中独树一帜，因为这些特性使其适用于道路上的现场应用。在获得氧合血红蛋白浓度和脱氧血红蛋白浓度变化的结果以后，我们更容易在不同对象之间比较结果，从而允许对驾驶疲劳水平进行全面评估，如果进一步应用于医学领域，则有助于确定人群中的疾病原因。

技术实现思路

[0005]本专利技术所要解决的技术问题是，提供一种便携式实时监测驾驶员精神状态的疲劳监测装置及其监测方法。
[0006]为了解决上述技术问题，本专利技术提出的一种基于深度学习的实时脑疲劳监测装置，包括分别与电源模块相连的数据采集模块和控制模块，所述控制模块通过WiFi无线数据传输模块与上位机相连。
[0007]所述数据采集模块包括8通道检测器和生物信号采集芯片；所述8通道检测器由双波长LED光源电路和6个光电传感器构成用于采集被测对象大脑前额叶的血氧信号，所述双
波长LED光源电路包括2个双波长LED光源和三极管放大电路，所述双波长LED光源为共阳极结构，并且是互补发光；所述生物信号采集芯片用于将8通道检测器的8个通道数据进行放大和模数转换后发送至所述控制模块。所述控制模块包括向所述的双波长LED光源电路发送互补PWM波，用来驱动所述的双波长LED光源发光，所述控制模块控制WiFi无线数据传输模块与上位机进行数据传输。所述上位机将接收的数据以文件的方式进行存储，对数据预处理后，使用基于判别特征学习策略和数据增强的CNN框架对采集到的大脑前额叶的血氧信号进行数据分析，得到被测对象的脑疲劳状态。
[0008]进一步讲，本专利技术所述的基于深度学习的实时脑疲劳监测装置，其中：
[0009]所述双波长LED光源的波长分别为760nm和850nm；6个光电传感器，并按照两行三列矩形方阵布局，且形成两个正方形，两个双波长LED光源分别位于两个正方形的中心点；每个双波长LED光源与邻近的4个光电传感器之间距离均为30mm，沿行的方向依次构成个8个发射
‑
接收通道。
[0010]所述生物信号采集芯片是一款集成了用于接收光电传感器电压信号和用于接收互补PWM信号的高共模抑制比模拟输入模块、用于进行电压信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)的生物信号采集芯片。
[0011]所述控制模块采用STM32微处理器，所述STM32微处理器产生占空比为50％的互补PWM方波，用来控制双波长LED光源电路中的两个三极管分别工作在放大区和截止区，两个三极管输出配合电阻压降产生两个不同的电压，用来控制双波长LED光源中波长分别为760nm和850nm的LED是否发光。
[0012]两个三极管分别记为三极管1和三极管2，所述三极管1与双波长双波长LED光源中850nm波长的LED连接，所述三极管2与双波长LED光源中760nm波长的LED连接；所述STM32微处理器产生的PWM方波1和PWM方波2；当所述的PWM方波1为3.3V高电平时，PWM方波2为0V低电平，三极管1工作在放大区，输出1.45V电压；三极管2工作在截止区，输出3.3V电压；此时，850nm波长的LED发出红外光，760nm波长的LED不发光；当所述的PWM方波1为0V低电平时，PWM方波2为3.3V高电平，三极管1工作在截止区，输出3.3V电压；三极管2工作在放大区，输出1.75V电压；此时，850nm波长的LED不发光，760nm波长的LED发红光。
[0013]所述WiFi无线数据传输模块采用ESP8266模块，将STM32微处理器的串口输出通过透传模式连续发送给上位机，所述ESP8266模块的工作模式为混合模式(Station+AP)，最高数据传输速率4.068Mbps。
[0014]本专利技术中公开了利用上述基于深度学习的实时脑疲劳监测装置检测过程中的数据处理方法，主要包括数据预处理和数据分析，对数据预处理后，使用基于判别特征学习策略和数据增强的CNN框架对采集到的大脑前额叶的血氧信号进行数据分析，得到被测对象的脑疲劳状态。
[0015]进一步讲，所述数据预处理包括去运动伪影、滑动平均和巴特沃斯带通滤波处理和修正的朗伯
‑
比尔定律，通过数据预处理得到氧合血红浓度变化量数据和脱氧血红蛋白浓度变化量数据；使用基于判别特征学习策略和数据增强的CNN框架对预处理后的数据进行数据分析和数据分类，对预处理后的数据进行的是四分类脑疲劳识别任务，分类标签分别为：轻度疲劳、重度疲劳、放松、专注，最终得到被测对象的脑疲劳状态。
[0016]所述的CNN框架包括卷积模块和全连接模块；所述卷积模块由时间卷积模块、空间卷积模块和通用卷积模块组成；所述的时间卷积模块包含一个核大小为1
×
8的卷积层，步长为(1，1)，用于从输入样本的近红外数据样本中提取时间特征；所述空间卷积模块包括空间卷积层，所述空间卷积层核大小为8
×
1，步长为(1，1)，用于提取不同通道的空间特征；所述通用卷积模块包含两个卷积层和两个最大池化层，用于提高框架的学习能力，并整合提取的时间和空间特征；其中：第一卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的实时脑疲劳监测装置，包括分别与电源模块相连的数据采集模块和控制模块，所述控制模块通过WiFi无线数据传输模块与上位机相连；其特征在于：所述数据采集模块包括8通道检测器和生物信号采集芯片；所述8通道检测器由双波长LED光源电路和6个光电传感器构成用于采集被测对象大脑前额叶的血氧信号，所述双波长LED光源电路包括2个双波长LED光源和三极管放大电路，所述双波长LED光源为共阳极结构，并且是互补发光；所述生物信号采集芯片用于将8通道检测器的8个通道数据进行放大和模数转换后发送至所述控制模块；所述控制模块包括向所述的双波长LED光源电路发送互补PWM波，用来驱动所述的双波长LED光源发光，所述控制模块控制WiFi无线数据传输模块与上位机进行数据传输；所述上位机将接收的数据以文件的方式进行存储，对数据预处理后，使用基于判别特征学习策略和数据增强的CNN框架对采集到的大脑前额叶的血氧信号进行数据分析，得到被测对象的脑疲劳状态。2.根据权利要求1所述的基于深度学习的实时脑疲劳监测装置，其特征在于，所述双波长LED光源的波长分别为760nm和850nm；6个光电传感器，并按照两行三列矩形方阵布局，且形成两个正方形，两个双波长LED光源分别位于两个正方形的中心点；每个双波长LED光源与邻近的4个光电传感器之间距离均为30mm，沿行的方向依次构成个8个发射
‑
接收通道。3.根据权利要求1所述的基于深度学习的实时脑疲劳监测装置，其特征在于，所述生物信号采集芯片是一款集成了用于接收光电传感器电压信号和用于接收互补PWM信号的高共模抑制比模拟输入模块、用于进行电压信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)的生物信号采集芯片。4.根据权利要求1所述的基于深度学习的实时脑疲劳监测装置，其特征在于，所述控制模块采用STM32微处理器，所述STM32微处理器产生占空比为50％的互补PWM方波，用来控制双波长LED光源电路中的两个三极管分别工作在放大区和截止区，两个三极管输出配合电阻压降产生两个不同的电压，用来控制双波长LED光源中波长分别为760nm和850nm的LED是否发光。5.根据权利要求4所述的基于深度学习的实时脑疲劳监测装置，其特征在于，两个三极管分别记为三极管1和三极管2，所述三极管1与双波长双波长LED光源中850nm波长的LED连接，所述三极管2与双波长LED光源中760nm波长的LED连接；所述STM32微处理器产生的PWM方波1和PWM方波2；当所述的PWM方波1为3.3V高电平时，PWM方波2为0V低电平，三极管1工作在放大区，输出1.45V电压；三极管2工作在截止区，输出3.3V电压；此时，850nm波长的LED发出红外光，760nm波长的LED不发光；当所述的PWM方波1为0V低电平时，PWM方波2为3.3V高电平，三极管1工作在截止区，输出3.3V电压；三极管2工作在放大区，输出1.75V电压；此时，850nm波长的LED不发光，760nm波长的LED发红光。6.根据权利要求4所述的基于深度学习的实时脑疲劳监测装置，其特征在于，所述WiFi无线数据传输模块采用ESP8266模块，将STM32微处理器的串口输出通过透传模式连续发送给上位机，所述ESP8266模块的工作模式为混合模式(Station+AP)，最高数据传输速率4.068Mbps。
7.根据权利要求1所述的基于深度学习的实时脑疲劳监测装置的数据处理方法，其特征在于，数据预处理包括去运动伪影、滑动平均和巴特沃斯带通滤波处理和修正的朗伯
‑
比尔定律，通过数据预处理得到氧合血红浓度变化量数据和脱氧血红蛋白浓度变化量数据；使用基于判别特征学习策略和数据增强...

【专利技术属性】
技术研发人员：宋北大，孙彪，马超，高忠科，马文庆，刘勇，赵思思，吴威，
申请(专利权)人：天津富瑞隆金属制品有限公司，
类型：发明
国别省市：