一种改善N1期类别混淆的多模态多尺度睡眠分期方法技术

本发明专利技术公开了一种改善N1期类别混淆的多模态多尺度睡眠分期方法。对原始睡眠数据进行预处理，获得睡眠数据样本。针对N1期睡眠数据少的情况，使用基于叠取策略的数据增强算法生成N1期，减轻了N1期少对睡眠分期的影响。针对睡眠数据利用不充分的问题，设计了多模态多尺度特征提取模块，对不同模态的数据进行不同处理，且使用多尺度特征提取方式对EEG模态进行细粒度特征提取，提高特征的有效性，初步解决N1期难区分问题，提高N1期的分类准确率。针对N1期容易与N2期和REM期混淆的问题，使用对比学习的方法，使得同一分期睡眠数据特征相似度更高，不同分期睡眠数据特征相似度相对降低，进一步提高N1期的可区分性。本发明专利技术在睡眠分期任务中N1期准确率最高。任务中N1期准确率最高。任务中N1期准确率最高。

【技术实现步骤摘要】
一种改善N1期类别混淆的多模态多尺度睡眠分期方法


[0001]本专利技术涉及信号处理和模式识别等
，涉及一种改善N1期类别混淆的多模态多尺度睡眠分期方法。

技术介绍

[0002]根据美国睡眠医学会(American Academy of Sleep Medicine，AASM)标准和睡眠手册(Rechtschaffen and Kales，R&K)，将睡眠分期分为清醒(W)期、快速眼动(REM)期、非快速眼动1(N1)期、非快速眼动2(N2)期和非快速眼动3(N3)期。AASM标准将整晚的多导睡眠图(Polysomnogram，PSG)数据划分为30秒一段的不重叠片段，逐一对这些数据片段人工判别为不同的睡眠分期，这导致睡眠分期会耗费大量的时间和精力。为解决这一问题，众多自动化睡眠分期方法被研究出来进行睡眠分期。但是，现有自动化睡眠分期方法都存在N1期准确率低的问题。
[0003]对于睡眠数据，每个睡眠分期的持续时间是不相等的。具体来说，N2期占大多数，约占总睡眠时间的45％
‑
55％，而N1期仅占的2％
‑
5％。这个问题存在于所有可用的睡眠数据集中，如蒙特利尔睡眠研究(MontrealArchiveofSleepStudies，MASS)档案数据库和PhysioNet的Sleep
‑
EDF数据库。有一些研究采用过采样、类不平衡抽样器以及GAN等方法弥补少数类，但是这些方法只扩充了样本数量，未保证样本的真实性。
[0004]现有模型没有充分利用睡眠数据，提取出更具代表性的特征表示。首先，模态利用不充分，由于不同模态睡眠信号能够区分不同视角下的睡眠状态，因此越来越多的多模态深度学习模型用于睡眠分期。但是，大多数多模态自动化睡眠分期模型对不同模态进行了相同的处理，没有关注不同模态之间的差异性。其次，频率利用不充分。现有的睡眠分期方法对不同频率的关注较少，个别研究只区分了高频与低频。但是，仅粗粒度地利用高频和低频并不能准确提取各个睡眠分期的特征。最后，时序结构利用不充分。睡眠数据是一个连续的时间序列，因此学习睡眠分期的时序关系是非常必要的。
[0005]N1期处于REM期和N2期的过渡阶段，睡眠分期边界不清晰，容易与N2期和REM期混淆。根据AASM规则，睡眠数据被划分为30秒的片段来划定睡眠分期。然而，由于数据划分的局限性，所划分的睡眠片段可能包含多个分期的睡眠数据，对于精准分期产生了一定的困难。根据睡眠分期的分布特性，混淆现象在N1期尤为明显。因此，将对比学习应用在睡眠分期中以扩大分类边界势在必行。
[0006]综上所述，本专利技术针对睡眠分期中N1期分类准确率低的问题，从以上三个方面分析造成该问题的原因，提出了新的想法与思路。因此，本专利技术提出了一种改善N1期类别混淆的多模态多尺度睡眠分期方法。

技术实现思路

[0007]针对上述背景，本专利技术提出一种改善N1期类别混淆的多模态多尺度睡眠分期方法在保证总体准确率的基础上提高N1期分类准确率。该方法在预处理之后，首先使用数据增
强技术，扩充N1期样本数量，缓解类不平衡问题对N1期分类准确率造成的影响。然后使用多模态多尺度的特征提取方法充分提取睡眠特征，对不同模态数据进行不同处理，并且利用多尺度特征提取方式对EEG模态进行细粒度特征提取，提高特征的有效性。融合所提取的多模态特征，使用残差SE注意力模块筛选出更具代表性的特征，借助Bi
‑
LSTM方法充分挖掘数据的时间依赖性。最后针对N1期容易与N2期和REM期混淆的问题，使用对比学习的方法，提高同一分期睡眠数据特征相似性，降低不同分期睡眠数据特征相似性，从而进一步提高N1期的可区分性。
[0008]为实现上述目的，本专利技术采用如下的技术方案：
[0009]一种改善N1期类别混淆的多模态多尺度睡眠分期方法，包括：
[0010]步骤一，原始信号预处理操作
[0011]首先，选用脑电(Electroencephalography，EEG)信号中的Fpz
‑
Cz通道，眼电(Electrooculography，EOG)信号和肌电(Electromyography，EMG)信号作为实验数据，将采样频率为T的睡眠数据以30秒划分片段，删除MOVEMENT和UNKNOWN标签以及这些标签对应的数据，合并N3期和N4期数据统称为N3期。在训练集中只保留睡眠时间之前和之后的30分钟的W期。经过预处理得到N
old
个样本，每个样本数据x
i
均为长度为30
×
T的数据，其中i∈[1,2,
…
,N
old
]表示当前样本的序号，假定得到的样本集为X
old
，标签集为Y
old
。
[0012]步骤二，数据增强
[0013]对步骤一得到的训练集样本，使用叠取策略，对相邻的两个N1期样本，取两个样本的中间部分组成新的样本。将新生成的样本放入原来的数据集X
old
中，得到新的样本集X，相应地更新标签集Y
old
为新标签集Y。
[0014]步骤三，多模态多尺度特征提取
[0015]为了充分利用睡眠数据并提取更具代表性的特征，本专利技术设计了多模态多尺度特征提取方法。对步骤二得到的新的样本数据，进行特征提取。将步骤二得到的数据按照不同模态分别进行不同处理，并对EEG信号分频率进行多尺度特征提取。然后拼接各个模态提取到的特征，送入残差SE注意力模块，选出具有代表性的特征并去除冗余特征。最后使用双层Bi
‑
LSTM学习睡眠分期的过渡规则，得到最终特征。
[0016]步骤四，对比及分类
[0017]经过步骤三可以获得睡眠分期的代表性特征，借助对比学习提升同期睡眠数据特征之间的相似性，降低非同期睡眠数据特征之间的相似性，从而扩大分期边界，使得各个分期之间更加容易区分。同时，使用分类器得到预测结果。
[0018]与现有技术相比，本专利技术提出的方法具有以下优点：
[0019]现有的自动化睡眠分期方法，面对睡眠数据的类不平衡问题，通常使用GAN等方法生成少数类数据，不能保证生成样本的真实性。一般的多模态睡眠分期方法没有关注到模态的差异性，对于不同模态的数据进行相同的处理，并且对频率特征关注较少，个别方法只关注到了高频和低频，没有从EEG信号特征波的角度进行细粒度特征提取。此外，对于睡眠分期中N1期容易与其他分期特别是N2期和REM期混淆的问题，以往的睡眠分期方法没有过多关注。而本专利技术使用基于叠取策略的数据增强算法生成N1期数据，在保证样本真实性的情况下扩充了N1期样本数量；并且使用多模态多尺度特征提取方法充分利用睡眠数据，提取出更具代表性的睡眠特征；最后使用对比学习扩大分期边界，解决N1期易混淆问题。
[0020]本专利技术采用叠取策略，选取相邻两个N1期数据的中间部分作为新的N1期，既本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改善N1期类别混淆的多模态多尺度睡眠分期方法，其特征在于，包括如下步骤：步骤一，原始信号预处理操作首先，选用脑电EEG信号中的Fpz
‑
Cz通道，眼电EOG信号和肌电EMG信号作为实验数据，即通道数Q取3，将采样频率为T的睡眠数据以30秒划分片段，删除MOVEMENT和UNKNOWN标签以及这些标签对应的数据，合并N3期和N4期数据统称为N3期；在训练集中只保留睡眠时间之前和之后的30分钟的W期；经过预处理得到N
old
个样本，每个样本数据x
i
均为长度为30
×
T的数据，其中i∈[1,2,
…
,N
old
]表示当前样本的序号，假定得到的样本集为X
old
，标签集为Y
old
；步骤二，数据增强对步骤一得到的训练集样本，使用叠取策略，对相邻的两个N1期样本，取两个样本的中间部分组成新的样本；将新生成的样本放入原来的数据集X
old
中，得到新的样本集X，相应地更新标签集Y
old
为新标签集Y；步骤三，多模态多尺度特征提取本发明设计了多模态多尺度特征提取方法充分利用睡眠数据并提取更具代表性的特征，；对步骤二得到的新的数据集，进行特征提取；将步骤二得到的数据按照模态分别进行不同处理，并对EEG信号分频率进行多尺度特征提取；拼接各个模态提取到的特征，送入SE注意力模块，选出具有代表性的特征并去除冗余特征；最后使用双层Bi
‑
LSTM学习睡眠分期的过渡规则，得到最终特征；步骤四，对比及分类经过步骤三可以获得睡眠分期的代表性特征，借助对比学习扩大睡眠分期边界，提升同期睡眠数据特征之间的相似性，降低非同期睡眠数据特征之间的相似性，从而使得各个分期之间更加容易区分；同时，使用分类器得到预测结果；本发明按照国际标准AASM睡眠分期准则进行5类睡眠分期，分别为清醒期(W)，快速眼动期(REM)，非快速眼动1期(N1)，非快速眼动2期(N2)，非快速眼动3期(N3)。2.根据权利要求1所述的一种改善N1期类别混淆的多模态多尺度睡眠分期方法，其特征在于，步骤二所述的数据增强，具体包括：使用叠取策略，选取X
old
中连续的两个同类样本和将的后v秒数据和的前(30
‑
v)秒数据拼接在一起，组成一个完整的标签为的新睡眠数据在本发明中v取15，表示生成的第i个新睡眠数据，表示第i个新睡眠数据对应的标签；以此法选取所有相邻的N1期样本，生成新的N1期样本，并将新生成的M个样本放入原来的数据集X
old
中，得到新的样本集X，相应地更新其标签集Y以及样本总数N；基于叠取策略的生成算法公式如下：式如下：N＝N
old
+M其中，表示为c类生成的新样本，本发明中c取1；O(
·
)表示上述过程的叠取函数；M为针对类别c生成的新样本数量；N为原始片段数N
old
经过数据增强生成M个新N1期样本后的
训练集X中样本数量，X的维度为(N，Q，(30
×
T))。3.根据权利要求1所述的一种改善N1期类别混淆的多模态多尺度睡眠分期方法，其特征在于，步骤三所述的多模态多尺度特征提取方法，具体包括：将经过数据增强后的新样本集X作为输入数据，送入特征提取模块进行多模态多尺度特征提取，该模块结构图如图4所示；特征提取过程分为4个步骤：(1)多模态特征提取；对步骤2得到的睡眠数据X分模态提取睡眠特征；人类专家对于不同模态的数据有着不同的分期依据，具体地，根据EMG信号的有无、EEG信号中的各种特征波、EOG信号变化快慢来判断睡眠分期；对于输入数据的不同模态数据送入对应模态的特征提取分支中去：将EMG数据直接送入卷积模块进行特征提取，将EEG数据送入不同的卷积核模块中进行多尺度特征提取，对EOG数据先进行短时傅里叶变换，再送入卷积模块进行特征提取；短时傅里叶采用窗口大小为100的汉宁窗进行变换，提取EOG信号的时频特征；EMG和EOG信号特征提取公式如下所示：f
EMG
＝E
EMG
(X
EMG
,s
EMG
)其中，f
EMG
、f
EOG
分别为EMG信号和EOG信号提取出的特征；X
EEG
和X
EMG
分别是数据集X的EEG信号和EMG信号数据，是数据集X经过短时傅里叶变换后的EOG信号；s
EMG
、s
EOG
分别是提取EMG信号、EOG信号特征选取的卷积核，其中s
EMG
＝10、s
EOG
＝(8,8)；E
u
(
·
)是使用卷积模块ConvBlock进行特征提取的函数，其中u∈[EMG,EOG,EEG1,EEG2,EEG3]，ConvBlock包括一个卷积层，一个批处理归一化层，一个GELU激活函数层，一个最大池化层和为防止过拟合增加参数为0.5的Dropout层；E
EMG
为EMG卷积模块，其中包括三个一维ConvBlock，每个卷积模块中的卷积核大小分别为10、8、8，卷积步长均为3，最大池化层的核分别为6、6、4，池化步长为3、3、4；E
EOG
为EOG卷积模块，其中包括三个二维ConvBlock，每个卷积模块中的卷积核大小分别为8
×
8、7
×
7、7
×
7，卷积步长分别为3
×
3、1
×
1、1
×
1，最大池化层的核分别为6
×
6、4
×
4、2
×
2，池化步长为3
×
3、2
×
2、2
×
2；(2)多尺度特征提取；使用(1)中的EEG信号数据X
EEG
作为输入，根据特征波选取不同尺度的卷积核大小从而提取EEG信号的多尺度睡眠特征，输出EEG信号特征f
EEG
，其中v∈[1,2,3]；E...

【专利技术属性】
技术研发人员：段立娟，尹悦，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：