一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法技术

本发明专利技术公开了一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，包括：通过多个电极采样得到待处理的EEG信号；构建深度可分离卷积模块，包括逐点卷积和逐深度卷积；将EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；构建通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；通过通道切分模块对特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块子特征分别用不同尺寸卷积核进行多频率提取并对进行多频率融合；构建分类模块，包括全连接层和softmax层，将经过提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果。本发明专利技术在跨主体疲劳检测任务中具有优秀的性能表现。劳检测任务中具有优秀的性能表现。劳检测任务中具有优秀的性能表现。

【技术实现步骤摘要】
一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法


[0001]本专利技术涉及人工智能在交通领域的应用，尤其涉及一种基于EEG(脑电信号)通道多尺度并行卷积的跨主体疲劳检测深度学习方法。

技术介绍

[0002]驾驶员由疲劳嗜睡引发的交通事故，一直是现代交通运输业迫切需要解决的问题。驾驶员监控系统(DMS)是减少交通事故主要方法，DMS是通过采集与分析驾驶员的行为和状态，预测异常情况和降低潜在危险，从而避免交通事故。DMS的研究可以分为2类：(1)基于车辆运行状态检测，(2)基于驾驶员状态检测。前者针对汽车的状态，后者研究驾驶员的状态。
[0003]目前研究人员任务基于驾驶员的状态检测准确率更高，其中最主流有效的方法，是使用EEG生理信号进行疲劳检测。
[0004]基于EEG的疲劳检测，从手工特征提取阶段进入使用深度学习方法的阶段，使用深度学习方法可以直接输入EEG原始信号，利用方法完成特征提取和分类，极大的提高了效率与准确率。
[0005]但是目前主流方法都是依赖主体校准，这代表每个受试者在进行检测前，都需要进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，该方法包括以下步骤：步骤1、通过多个电极采样得到待处理的EEG信号；步骤2、构建深度可分离卷积模块，深度可分离卷积模块由2层卷积层构成，包括逐点卷积和逐深度卷积；将采样得到的EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；步骤3、构建通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；通过通道切分模块对深度可分离模块输出的特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块将分组后的子特征分别用不同尺寸卷积核进行多频率提取，以提取子特征被忽略的信息，并且对疲劳驾驶关键的δ频段进行多频率的提取融合；步骤4、构建分类模块，包括一个全连接层和softmax层，将经过通道切分的多尺度并行卷积模块提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果。2.根据权利要求1所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤2中的逐点卷积具体包括：逐点卷积的卷积核为(k1，1)，输入的EEG信号为X(1,E,H)，其中E为电极数，H为信号长度；第一层为逐点卷积，k1＝E，即对每一个电极位置分配了一个(1,1)的卷积核，实现E个电极信号特征统一提取，完成电极方向的融合，逐点卷积的输出为：其中，i＝1,2,3,...,C1表示输出的通道维数，即第一层卷积核个数；p＝1,2,3...E表示电极，x
p,
是输入EEG信号样本的第p个通道的第j个采样点；表示在第一层卷积中的权重，由于有E个电极，故有E个权重和1个偏差参数。3.根据权利要求2所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤2中的逐深度卷积具体包括：第二层为逐深度卷积，用于从中进一步获取空间相关与交叉通道相关特征；不同于常规卷积操作，逐深度卷积的一个卷积核负责一个通道；即一个通道只被一个卷积核卷积，输入和输出的不同通道间没有任何计算将它们联系起来；第一层逐点卷积本身具有通道和电极方向融合的能力，两层卷积结合实现EEG信号时空维度与通道维度特征的提取；逐深度卷积具体过程为：逐深度卷积的卷积核为(1,k2)，对第一层的输出进行卷积操作，由C1个通道维度按G组进行分组卷积操作，扩展成C2个通道维度，该层的输出为：其中，m＝1,2,...C2表示所在的通道节点，q＝1,2,...,k2表示所在的卷积核；权重W
(2)
的形状为(C2，1，k2)，这些权重从中取样,每一个计算节点都有偏置4.根据权利要求3所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤3中的通道切分模块具体包括：完成深度可分离卷积后的输出数据从通道维度为1的EEG原始数据依然扩展成了C2；其频率信号的通道内依然包含大量有效信息，每一部分通道间的特征f
c
都写成：f
i
＝σ(Conv(x
i
))其中，i＝1,2,...,C表示所在通道数，σ是激活函数，Conv表示卷积操作，x
c
是第c个通道中的输入；而当有一系列的通道特征时，仅仅使用相同的过滤器，会忽略子特征中的一些信息，所以将子特征分别送入不同的过滤器，得到特征f表示成：其中，G表示通道切分成的组数，C表示表示通道数，Conv
i
表示第i个卷积操作，通道分为G组故有G个卷积。5.根据权利要求4所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤3中的多尺度并行分组卷积模块具体包括：在EEG信号数据中，频带是δ＝1
–
3hz是最重要的频域之一，通过δ能提供更多关于困倦状态的信息，能反映驾驶员困倦的精神状态；因此针对δ＝1
–
3hz的频段进行多尺度的并行分组卷积；以0.5hz为间隔，选取了1.5hz，2hz，2.5hz，3hz的频率信号，并进行融合，；为此使用了四个不同尺寸的卷积核分别提取上述的4种信号，从而从子特征中获取多个频率特征；为了获取上述4个信号，在本模块设置尺寸分别为(1,K1),(1,K2),(1,K3),(1,K4)的卷积核进行分组卷积，卷积操作如下：其中，n＝1,2,3,4代表卷积核的分组，表示所在的通道节点，q＝1,2,...K
n
表示所在卷积的卷积核；对提取出特征独立进行ReLU函数的激活:批量归一化Batch Normalization：
全局平均池化GAP，防止过拟合：其中，W、H分别是全局平均池化GAP核的长与高；最终将并行的四个输出进行融合：其中，表示从4个频率中提取出通道子特征。6.根据权利要求5所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤4中的分类模块具体包括：全连接层表示如下：其中，m＝1,2,...,C2表示所在的通道节点，s＝1或0，分别表示警惕状态或困倦状态；在输出结果时，用softmax函数将未规范化的预测变换为非负数并且总和为1，即输出...

【专利技术属性】
技术研发人员：朱容波，李松泉，王晗铭，潘昕耀，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：