一种基于视觉Transformer的自动睡眠分期方法技术

本发明专利技术公开一种基于视觉Transformer的自动睡眠分期方法。本发明专利技术将原始PSG信号通过滑窗处理得到PSG信号序列；将PSG信号序列通过数据增强得到增强信号样本；通过视觉Transformer帧级编码器、双向GRU序列级编码器、softmax层级联构建睡眠分期网络，将每组PSG信号样本输入睡眠分期网络,预测PSG信号样本的睡眠阶段，通过跨模态迁移学习初始化网络，结合PSG信号样本的真实睡眠阶段构建损失函数，使用ADAM优化器训练得到优化后睡眠分期网络；实时采集PSG信号，将PSG信号样本通过优化后睡眠分期网络，预测睡眠阶段。本发明专利技术根据PSG信号的噪声和伪迹设计数据增强，提高网络对PSG信号噪声和伪迹的鲁棒性；引入基于视觉Transformer的编码器，提高网络特征表示能力；通过迁移学习，减轻对大量PSG数据的依赖。减轻对大量PSG数据的依赖。减轻对大量PSG数据的依赖。

【技术实现步骤摘要】
一种基于视觉Transformer的自动睡眠分期方法


[0001]本专利技术属于睡眠质量评估
，具体涉及一种基于视觉Transformer 的自动睡眠分期方法。

技术介绍

[0002]多导睡眠图(Polysomnography，PSG)是临床上用于睡眠状态监测的标准技术，全面记录被监测对象睡眠过程中的各项生理指标，包括脑电(EEG)、眼电(EOG)、肌电(EMG)等神经信号和口鼻气流、胸腹压力、血氧饱和浓度等呼吸监测数据，可以作为评估睡眠质量和诊断睡眠障碍症状的有效依据。但长期以来睡眠生理信号分析都依赖于睡眠专家人工检查多导睡眠图信号，这种方式存效率低、人力成本高等问题，且专家知识的主观差异性也会导致评估结果的误差。因此，需要开发鲁棒的高性能自动化睡眠分期工具来辅助医生进行睡眠分期，提高睡眠分期效率和准确率。
[0003]自动睡眠分期技术是扩大睡眠评估和诊断的基础，能服务数百万睡眠障碍人群，并使得在家庭环境中进行睡眠监测成为可能。尽管现有的自动化睡眠分期模型取得了不错的自动睡眠分期的性能，能够超越单一人类专家的分期准确率，然而目前的模型仍然存在一些亟待解决的问题：
[0004]视觉Transformer能提取有效的特征表示，但是在PSG信号上的性能还未被探索过；同时时间轴和频率轴上的位置信息对于经过傅立叶变换的PSG信号至关重要。但最近的睡眠分期方法只考虑时间轴上的位置关系，而视觉 Transformer能够同时捕获在时间轴和频率轴上的位置信息，弥补了现有模型的不足。
[0005]基于Transformer的深度学习方法需要大量训练数据才能超越CNN的表现。当前基于Transformer的自动睡眠分期模型在大规模PSG数据集进行预训练时表现良好，但在较小的数据集上睡眠分期的准确率显著下降。然而，获取大规模、标记准确的PSG数据集十分困难，并且在大型PSG数据集上从头开始训练模型需要耗费大量的计算资源。
[0006]现有自动睡眠分期模型对噪声和伪迹的鲁棒性不强。由于人为因素和采集环境的影响，PSG信号中存在难以避免的噪声和伪影。然而，针对PSG信号的数据增强模块设计的研究仍然十分有限。大多数工作直接采用在图像和音频任务中的增强手段，没有考虑PSG信号本身的特性。
[0007]因此研究一种基于视觉Transformer的鲁棒自动睡眠分期技术具有充分的必要性。

技术实现思路

[0008]针对睡眠分期任务中特征表示的性能有限、可靠PSG数据集稀缺以及模型对PSG信号噪声和伪影的鲁棒性不佳等问题，本专利技术引入了一种基于视觉 Transformer的编码器，通过迁移学习减轻对大量PSG数据的依赖，同时针对 PSG信号的噪声和伪迹设计一个数据增强模块，从而学习高性能、高鲁棒性的特征表示。
[0009]本模型包括三个关键思想：设计一个基于视觉Transformer的帧级编码器，采用滑动窗口来捕获短期上下文信息，并使用GRU来实现长期的序列级建模；通过跨模态的迁移学习，使用在域外数据集上的预训练模型，在睡眠PSG数据集上进行微调，以减轻对大规模PSG数据集的依赖；提出一个针对EEG和EOG 通道的动态数据增强模块，使模型能够学习更加鲁棒的特征表示。
[0010]本专利技术的方法为一种基于视觉Transformer的自动睡眠分期方法，具体步骤如下：
[0011]步骤1：引入多个通道多个时刻的原始PSG信号，将每个通道多个时刻的原始PSG信号通过滑窗处理得到每个通道的多个PSG信号序列；
[0012]步骤2：将每个通道的多个PSG信号序列通过数据增强处理得到每个通道的多组数据增强处理后PSG信号样本，通过多个通道的同一组数据增强处理后 PSG信号样本构建每组PSG信号样本，人工标记每组PSG信号样本的真实睡眠阶段；
[0013]步骤3：通过视觉Transformer帧级编码器、双向GRU序列级编码器、softmax 层依次级联构建睡眠分期网络，将每组PSG信号样本输入至睡眠分期网络预测得到每组PSG信号样本的预测睡眠阶段，通过跨模态迁移学习初始化睡眠分期网络，结合每组PSG信号样本的真实睡眠阶段构建睡眠分期网络损失函数模型，通过ADAM优化器训练得到优化后睡眠分期网络；
[0014]步骤4：实时采集多个时刻的PSG信号通过步骤1滑窗处理得到实时的PSG 信号样本，将实时的PSG信号样本通过优化后睡眠分期网络进行预测得到实时的睡眠所处阶段。
[0015]作为优选，步骤1所述每个通道多个时刻的原始PSG信号，定义为：
[0016]datac＝(datac，1，datac，2，...，datac，L)
[0017]c∈[1，C][0018]其中，datac表示第c个通道多个时刻的原始PSG信号，datac，n表示第c 个通道第n个时刻的原始PSG信号，n∈[1，L]，L表示原始时刻的数量，C表示通道的数量；
[0019]步骤1滑窗处理的窗口覆盖范围为：(n
‑
(T0‑
1)/2)到 (n+(T0‑
1)/2)；
[0020]步骤1滑窗处理的窗口长度为：T0；
[0021]步骤1所述每个通道的多个PSG信号序列，具体为：
[0022][0023][0024]c∈[1，C][0025]其中，Sdata
c
表示第c个通道多个时刻的滑动窗口内PSG信号，S
c，i
表示第c个通道第i个时刻的滑动窗口内PSG信号，i∈[1，T1]，T1表示 PSG信号序列的数量，C表示通道的数量；
[0026]作为优选，步骤2所述数据增强处理具体为：
[0027]信号去噪处理、信号通道干扰处理、信号加性噪声处理、信号掩蔽频率处理分别根据一定随机概率进行数据增强处理；
[0028]步骤2所述每个通道的多组数据增强处理后PSG信号样本，具体为：
[0029][0030]c∈[1，C][0031]其中，Sdata
′
c
表示第c个通道多个时刻的经过数据增强的PSG信号， dS
′
c，m
表示第c个通道的第m组数据增强处理后PSG信号样本，m∈[1， T1]，T1表示数据增强处理后PSG信号样本的数量；
[0032]步骤2所述通过多个通道的同一组数据增强处理后PSG信号样本构建每组 PSG信号样本，具体如下：
[0033]S
′
i
＝(dS
′
1，i
，dS
′
2，i
，...dS
′
C，i
)
[0034]i∈[1，T1][0035]其中，S
′
i
表示第i组PSG信号样本，T1表示PSG信号样本的数量， C表示通道的数量；
[0036]作为优选，步骤3所述视觉Transformer帧级编码器由时频变换层、时频谱分块层、线性投影层、位置编码层，多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉Transformer的自动睡眠分期方法，其特征在于，包括以下步骤：步骤1：引入多个通道多个时刻的原始PSG信号，将每个通道多个时刻的原始PSG信号通过滑窗处理得到每个通道的多个PSG信号序列；步骤2：将每个通道的多个PSG信号序列通过数据增强处理得到每个通道的多组数据增强处理后PSG信号样本，通过多个通道的同一组数据增强处理后PSG信号样本构建每组PSG信号样本，人工标记每组PSG信号样本的真实睡眠阶段；步骤3：通过视觉Transformer帧级编码器、双向GRU序列级编码器、softmax层依次级联构建睡眠分期网络，将每组PSG信号样本输入至睡眠分期网络预测得到每组PSG信号样本的预测睡眠阶段，通过跨模态迁移学习初始化睡眠分期网络，结合每组PSG信号样本的真实睡眠阶段构建睡眠分期网络损失函数模型，通过ADAM优化器训练得到优化后睡眠分期网络；步骤4：实时采集多个时刻的PSG信号通过步骤1滑窗处理得到实时的PSG信号样本，将实时的PSG信号样本通过优化后睡眠分期网络进行预测得到实时的睡眠阶段。2.根据权利要求1所述的基于视觉Transformer的自动睡眠分期方法，其特征在于：步骤1所述每个通道多个时刻的原始PSG信号，定义为：datac＝(datac，1，datac，2，...，datac，L)c∈[1，C]其中，datac表示第c个通道多个时刻的原始PSG信号，datac，n表示第c个通道第n个时刻的原始PSG信号，n∈[1，L]，L表示原始时刻的数量，C表示通道的数量；步骤1滑窗处理的窗口覆盖范围为：(n
‑
(T0‑
1)/2)到(n+(T0‑
1)/2)；步骤1滑窗处理的窗口长度为：T0；步骤1所述每个通道的多个PSG信号序列，具体为：步骤1所述每个通道的多个PSG信号序列，具体为：c∈[1，C]其中，Sdata
c
表示第c个通道多个时刻的滑动窗口内PSG信号，S
c，i
表示第c个通道第i个时刻的滑动窗口内PSG信号，i∈[1，T1]，T1表示PSG信号序列的数量，C表示通道的数量。3.根据权利要求1所述的基于视觉Transformer的自动睡眠分期方法，其特征在于：步骤2所述数据增强处理具体为：信号去噪处理、信号通道干扰处理、信号加性噪声处理、信号掩蔽频率处理分别根据一定随机概率进行数据增强处理；步骤2所述每个通道的多组数据增强处理后PSG信号样本，具体为：c∈[1，C]其中，Sdata
′
c
表示第c个通道多个时刻的经过数据增强的PSG信号，dS
′
c，m
表示第c个通道的第m组数据增强处理后PSG信号样本，m∈[1，T1]，T1表示数据增强处理后PSG信号样本的数量；步骤2所述通过多个通道的同一组数据增强处理后PSG信号样本构建每组PSG信号样
本，具体如下：S
′
i
＝(dS
′
1，i
，dS
′
2，i
，...dS
′
G，i
)i∈[1，T1]其中，S
′
i
表示第i组PSG信号样本，T1表示PSG信号样本的数量，C表示通道的数量。4.根据权利要求1所述的基于视觉Transformer的自动睡眠分期方法，其特征在于：步骤3所述视觉Transformer帧级编码器由时频变换层、时频谱分块层、线性投影层、位置编码层，多头注意力层和全连接层，token连接层依次级联构成；所述时频变换层将第i组PSG信号样本通过短时傅里叶变换，计算第i组PSG信号样本的短时傅里叶变换时频谱，表示为F
i
＝(dF
1，i
，dF
2，i
，...dF
G，i
)i∈[1，T1]其中，F
i
表示第i组PSG信号样本的短时傅里叶变换时频谱，T1表示PSG信号样本的数量，C表示通道的数量，dF...

【专利技术属性】
技术研发人员：任延珍，彭荔，
申请(专利权)人：武汉大学，
类型：发明
国别省市：