基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法技术

本发明专利技术公开了基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，包括如下步骤：S1、数据准备：将采集到的脑电信号进行预处理，得到标准格式数据；S2、数据增强：采用频率掩蔽和频域重组算法对原数据进行数据增强；S3：模型训练，采用多尺度卷积核尺寸混合CNN模型对原始数据和增强数据构成的数据集进行训练，得到分类器；S4、状态识别：把预处理后的脑电数据输入到分类器模型中，得到样本的状态标签以及可解释的模型分类依据；本发明专利技术提高了模型分类性能，在持续注意力驾驶任务数据集识别疲劳状态任务中，实现了较高的准确率；并设计了添加频率噪声和频率掩蔽两种数据增强方法与CNN模型集成，进一步提高模型的泛化能力。进一步提高模型的泛化能力。进一步提高模型的泛化能力。

【技术实现步骤摘要】
基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法


[0001]本专利技术涉及一种基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，属于脑电信号处理


技术介绍

[0002]随着各种恶性交通事故频发，人们对行车安全越来越重视。其中，驾驶疲劳可直接导致交通事故，对人民群众的生命财产安全造成了严重危害。驾驶疲劳是指驾驶员由于休息不足或长时间持续行车造成身体机能下降的现象，该现象通常表现为驾驶人身心疲惫。而准确识别驾驶员的疲劳状态可以有效减少交通事故的发生。
[0003]研究表明，疲劳状态下驾驶人的脑电(EEG)与非疲劳状态呈现明显差异。利用深度学习方法从脑电信号中进行疲劳状态识别已经被广泛研究。然而由于不同受试者和不同记录时段的脑电图信号差异很大，单一卷积尺度的卷积神经网络无法同时适配不同受试者的脑电信号，模型的疲劳脑电状态识别准确率有待于进一步提高。在跨被试的脑电信号疲劳状态识别中，充分提取脑电信号时间特征、频率特征和空间特征对准确识别疲劳状态极为重要。
[0004]对于深度学习算法来说，脑电信号分类的准确率不仅与所设计网络结构的性能有关，而且很大程度上与可用于脑电信号训练数据量的数量有关。当训练数据量有限时，神经网络模型在训练过程中容易出现过拟合现象，因而导致模型在测试集上分类准确率比较低。为了解决脑电信号数据量有限导致的神经网络模型过拟合现象，首先想到的解决方法是尽可能多的采集更多训练数据。但是，在绝大多数情况下想要采集更多的脑电信号是非常困难的，甚至没办法完成。因此，如何充分利用已经采集到的脑电信号数据，通过数据增强方法来产生更多的数据就显得尤为重要。

技术实现思路

[0005]为了解决上述现有技术存在的不足，本专利技术提供一种基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，设计一种多尺度卷积核尺寸混合的卷积神经网络对驾驶员疲劳状态进行识别，提高了疲劳状态识别模型的分类性能，同时通过采用频率掩蔽和添加频域噪声的数据增强方法与多尺度卷积核尺寸CNN模型集成，进一步提升模型的分类性能和泛化能力。
[0006]为解决上述技术问题，本专利技术所采用的技术方案是：
[0007]基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，包括如下步骤：
[0008]S1、数据准备：将采集到的脑电信号进行预处理，得到标准格式数据；
[0009]S2、数据增强：采用频率掩蔽或添加频域噪声算法对原数据进行数据增强；
[0010]S3：模型训练，采用多尺度卷积核尺寸混合CNN模型对原始数据和增强数据构成的数据集进行训练，得到分类器；
[0011]S4、状态识别：把预处理后的脑电数据输入到分类器模型中，得到样本的状态标签
以及可解释的模型分类依据。
[0012]本专利技术技术方案的进一步改进在于：所述步骤S1的具体操作为：
[0013]S11、将原始数据集的采样率降至128Hz，并提取每条轨迹在偏离事件发生前3s的脑电图样本；
[0014]S12、计算每个样本的局部反应时间R
t
：
[0015]R
t
＝t
d
‑
t
r
(21)，
[0016]其中，t
d
为汽车发生漂移的时刻，t
r
为受试者操作汽车返回原车道的时刻；
[0017]S13、计算每个样本的全局反应时间GR
t
：
[0018][0019]其中，N为每个样本汽车漂移事件发生前90s窗口内的样本个数，GR
t
即为汽车漂移事件发生前90秒窗口内的局部反应时间R
t
的平均值；
[0020]S14、定义基线清醒反应时间R
talert
：
[0021]取每个会话中局部反应时间的第五个百分位数作为基线清醒反应时间R
talert
，作为下一步标记样本的依据；
[0022]S15、为每个样本打标签：
[0023]当样本的局部反应时间和全局反应时间同时小于基线清醒时间的1.5倍时，样本被标记为警觉状态；当样本的局部反应时间和全局反应时间同时大于2.5倍的基线清醒反应时间时，样本被标记为疲劳状态。
[0024]本专利技术技术方案的进一步改进在于：所述步骤S15标记完成后，得到2022个样本，每个样本包含3s的脑电图数据。
[0025]本专利技术技术方案的进一步改进在于：所述步骤S2中频率掩蔽增强数据的具体操作为：
[0026]S21、对原始信号x(t)进行快速傅里叶变换得到频域信号X(jw)
[0027]X(jw)＝F(x(t))(23)，
[0028]其中，F(
·
)表示快速傅里叶变换；
[0029]S22、确定超参数s、t，其中s表示掩蔽点个数，t表示掩蔽区域的个数，将随机选取一个区域的20个频率点置零，得到增强后的数据。
[0030]本专利技术技术方案的进一步改进在于：所述步骤S2中添加频域噪声算法增强数据的具体操作为：
[0031]H(jw)e
jωt
＝F[x(t)](21)，
[0032]其中H(jw)＝|X(jw)|，e
jωt
＝Arg[X(jw)](即频域信号的相位)，幅值和相位添加噪声G
i
(λ)～(0,σ
i2
)(i＝0,1)：
[0033][0034]经过傅里叶逆变换后得到增强后的时域信号：
[0035]x
noise
(t)＝F
‑1(X
noise
)(23)。
[0036]本专利技术技术方案的进一步改进在于：所述步骤S3的具体操作为：
[0037]S31、数据滤波：假设m个电极记录的原始脑电信号为X＝{x
i
}
i＝1,2,...m
，将X进行带
通滤波，得到三个不同频带的脑电信号X1(4
‑
7Hz),X2(8
‑
13Hz),X3(13
‑
32Hz)；
[0038]S32、确定卷积核尺寸：
[0039]令卷积核尺寸为K＝{K1,K2,K3},其中K
i
(i＝1,2,3)为第i个分支的Depthwise卷积的卷积核尺寸；
[0040]S33、网络结构设计：
[0041]网络结构的第一个分支，输入信号为原始数据脑电信号的第一个频带X
1(m,n)
,其中，m为脑电通道个数，取30，n为每个样本的采样点个数，取384；
[0042]以下出现的代表网络第x层的参数；
[0043]第一层Pointwise的输出为：
[0044][0045]其中i＝1,2,3,...,N1，N1＝16，为Pointwise卷积的个数，表示第i个Pointwise卷积的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，其特征在于，包括如下步骤：S1、数据准备：将采集到的脑电信号进行预处理，得到标准格式数据；S2、数据增强：采用频率掩蔽或添加频域噪声算法对原数据进行数据增强；S3：模型训练，采用多尺度卷积核尺寸混合CNN模型对原始数据和增强数据构成的数据集进行训练，得到分类器；S4、状态识别：把预处理后的脑电数据输入到分类器模型中，得到样本的状态标签以及可解释的模型分类依据。2.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，其特征在于，所述步骤S1的具体操作为：S11、将原始数据集的采样率降至128Hz，并提取每条轨迹在偏离事件发生前3s的脑电图样本；S12、计算每个样本的局部反应时间R
t
：R
t
＝t
d
‑
t
r
(1)，其中，t
d
为汽车发生漂移的时刻，t
r
为受试者操作汽车返回原车道的时刻；S13、计算每个样本的全局反应时间GR
t
：其中，N为每个样本汽车漂移事件发生前90s窗口内的样本个数，GR
t
即为汽车漂移事件发生前90秒窗口内的局部反应时间R
t
的平均值；S14、定义基线清醒反应时间R
talert
：取每个会话中局部反应时间的第五个百分位数作为基线清醒反应时间R
talert
，作为下一步标记样本的依据；S15、为每个样本打标签：当样本的局部反应时间和全局反应时间同时小于基线清醒时间的1.5倍时，样本被标记为警觉状态；当样本的局部反应时间和全局反应时间同时大于2.5倍的基线清醒反应时间时，样本被标记为疲劳状态。3.根据权利要求2所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，其特征在于，所述步骤S15标记完成后，得到2022个样本，每个样本包含3s的脑电图数据。4.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，其特征在于，所述步骤S2中频率掩蔽增强数据的具体操作为：S21、对原始信号x(t)进行快速傅里叶变换得到频域信号X(jw)X(jw)＝F(x(t))(3)，其中，F(
·
)表示快速傅里叶变换；S22、确定超参数s、t，其中s表示掩蔽点个数，t表示掩蔽区域的个数，将随机选取一个区域的20个频率点置零，得到增强后的数据。5.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，其特征在于，所述步骤S2中添加频域噪声算法增强数据的具体操作为：
H(jw)e
jωt
＝F[x(t)](21)，其中H(jw)＝|X(jw)|，e
jωt
＝Arg[X(jw)](即频域信号的相位)，幅值和相位添加噪声G
i
(λ)～(0,σ
i2
)(i＝0,1)：经过傅里叶逆变换后得到增强后的时域信号：x
noise
(t)＝F
‑1(X
noise
)(23)。6.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法，其特征在于，所述步骤S3的具体操作为：S31、数据滤波：假设m个电极记录的原始脑电信号为X＝{x
i
}
i＝1,2,...m
，将X进行带通滤波，得到三个不同频带的脑电信号X1(4
‑
7Hz),X2(8
‑
13Hz),X3(13
‑
32Hz)；S32、确定卷积核尺寸：令卷积核尺寸为K＝{K1,K2,K3},其中K
i
(i＝1,2,3)为第i个分支的Depthwise卷积的卷积核尺寸；S33、网络结构设计：网络结构的第一个分支，输入信号为原始数据脑电信号的第一个频带X
1(m,n)
,其中，m为脑电通道个数，取30，n为每个样本的采样点个数，取384；以下出现的代表网络第x层的参数；第一层Pointwise的输出为：其中i＝1,2,3,...,N1，N...

【专利技术属性】
技术研发人员：付荣荣，侯启恩，
申请(专利权)人：燕山大学，
类型：发明
国别省市：