System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于混合神经网络的自动睡眠分期方法技术_技高网
当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于混合神经网络的自动睡眠分期方法技术

技术编号:40309254 阅读:4 留言:0更新日期:2024-02-07 20:52
本发明专利技术公开了一种基于混合神经网络的自动睡眠分期方法,其利用卷积变压器epoch编码器学习epoch内的局部特征和全局特征,并利用跨模态上下文编码器对跨模态上下文关系进行建模,再利用基于变压器的序列编码器来学习序列特征,最后利用epoch级分类器来预测每个epoch所处的睡眠阶段,从而提高自动睡眠分期模型的预测性能。

【技术实现步骤摘要】

本专利技术属于自动睡眠分期,具体涉及一种基于混合神经网络的自动睡眠分期方法


技术介绍

1、睡眠在促进身心健康方面起着至关重要的作用,睡眠分期是指将睡眠划分为不同的睡眠阶段,可以有效衡量睡眠质量和诊断睡眠障碍。在临床上,睡眠分期通常由医生或专家通过多导睡眠图(polysomnography,psg)来确定,psg是附着在身体不同部位的传感器记录的电活动信号,psg由脑电(electroencephalogram,eeg)、眼电(electrooculogram,eog)等生理信号组成,通常被分割为30秒的epoch。临床中,睡眠专家根据美国睡眠医学学会(american academy of sleep medicine,aasm)睡眠标准,将这些epoch手动划分为5个不同的睡眠阶段:觉醒(wake,w)、快速眼动(rapid eye movement,rem)和三种非快速眼动睡眠(n1、n2、n3),一名睡眠专家需要花费超过两个小时的时间将一整夜的psg记录完全分类到不同的睡眠阶段。显然,人工对大量的睡眠周期进行分类是非常耗时的,并且需要耗费大量的人力劳动,因此有必要开发自动分类睡眠阶段的方法。

2、随着人工智能技术的快速发展,自动睡眠分期技术被提出,它们取得了良好的性能,但仍有几个问题需要解决:

3、1.在一个epoch内结合局部和全局特征往往被忽视。很多研究关注每个epoch内的局部显著波形,却忽略了epoch内的全局特征,如某些波形在epoch内的位置和占比,从而影响睡眠阶段分类;局部特征在睡眠分期中当然非常重要,但全局特征也同样非常重要。因此,对epoch内全局特征的忽略将导致自动睡眠分期的性能难以提高。

4、2.不同模态之间的跨模态上下文关系没有被捕获。不同的睡眠阶段具有特定的脑电波特征,在其他信号中也呈现特征,专家通常结合eeg和其他信号(如eog)来判断睡眠分期,eog中的眨眼在睡眠分期中起着重要的作用,而eog中的sem和rem是将两个睡眠周期分别归为n1和rem的关键。然而,现有的许多深度学习方法忽略了多模态数据的有效性,仅使用eeg对睡眠阶段进行分类,尽管一些研究探讨了不同模态的重要性,但它们仅以简单的方式融合不同的模态,如级联、加法和点乘;这些研究通常采用epoch级或element级的融合方法,以一对一的方式建模eeg和eog之间的epoch级或element级跨模态关系,忽略了不同模态之间的跨epoch跨模态关系;根据aass标准,不论是epoch内的显著波形,还是epoch间的信息在睡眠分期中起着至关重要的作用。此外,现有关于自动睡眠分期的研究大多采用序列到序列的方式,表明序列epoch内特征和序列epoch间的上下文特征对睡眠分期都很重要,因此跨epoch的跨模态关系对睡眠数据的分类也很重要;针对跨模态上下文信息被忽略的问题,采用一种跨模态上下文编码的思想来建模跨模态上下文关系是十分必要的。

5、现有的很多研究都存在局限性,例如supratak et al.在2017年的文献[deepsleepnet:a model for automatic sleep stage scoring based on raw single-channel eeg]中没有考虑epoch内的全局特征,也没有考虑多模态数据的重要性。phan etal.在2022年的文献[sleeptransformer:automatic sleep staging withinterpretability and uncertainty quantification]中没有考虑epoch内局部特征的重要性,也没有考虑多模态数据的重要性。jia et al.在2021年的文献[salientsleepnet:multimodal salient wave detection network for sleep staging]考虑到了多模态数据的重要性,但没考虑多模态上下文关系的重要性。


技术实现思路

1、鉴于上述,本专利技术提供了一种基于混合神经网络的自动睡眠分期方法,通过捕捉epoch的局部显著波和全局特征,并对跨模态上下文关系进行建模,从而提升神经网络预测睡眠阶段的性能。

2、一种基于混合神经网络的自动睡眠分期方法,包括如下步骤:

3、(1)采集包括睡眠疾病患者和健康人士在内多名受试者的psg数据;

4、(2)对psg数据进行信号选取、睡眠阶段标注以及信号预处理;

5、(3)构建混合神经网络模型,其包括:

6、基于卷积变压器的epoch编码器,分为两条分支分别针对psg数据中的脑电信号和眼电信号,学习epoch内部的局部及全局特征;

7、跨模态上下文编码器,也分为两条分支分别对应脑电信号和眼电信号,根据两个分支的局部及全局特征,借助联合注意力机制进一步学习epoch的跨模态上下文特征;

8、基于变压器的序列编码器,根据两个分支的跨模态上下文特征,借助自注意力机制建立序列中epoch之间的关系,学习psg数据的序列特征;

9、分类器,基于所述序列特征进行分类识别,输出每个epoch属于各睡眠阶段的预测概率;

10、(4)利用采集到的psg数据对上述混合神经网络模型进行训练,得到睡眠分期模型;

11、(5)利用所述睡眠分期模型对测试集数据进行预测,即可自动实现数据的睡眠分期任务。

12、进一步地,所述步骤(1)中以512hz的采样频率对psg数据进行采集,采集到的psg数据包含有脑电信号、眼电信号、心电信号和肌电信号,其中脑电信号包含f4-m1、c4-m1、f3-m2、c3-m2、o1-m2、o2-m1共6个通道,眼电信号包含e1-m2和e2-m2共2个通道。

13、进一步地,所述步骤(2)中从psg数据中选取脑电信号和眼电信号用于训练和测试,由睡眠专家根据美国睡眠医学学会标准进行标注,即将信号每30s划分为一个epoch,将每个epoch归类至wake、n1、n2、n3、rem五种不同的睡眠阶段;信号预处理包括了0.3hz和35hz的带通滤波、50hz的尖峰滤波以及100hz的重采样。

14、进一步地,所述epoch编码器共有5层,前4层均采用多尺度卷积变压器网络,第5层由一个平均池化层、一个全连接层和一个gelu激活函数依次连接组成;多尺度卷积变压器网络由多尺度卷积网络和变压器网络连接组成,多尺度卷积网络用于学习epoch内不同尺度的显著波特征(即局部特征),变压器网络借助自注意力机制来学习epoch内部的全局特征。

15、进一步地,所述多尺度卷积网络的计算过程如下:

16、xj=g(bn(dconvj(x))),j∈[1,2,3]

17、x4=downsample(x)

18、

19、其中:x表示输入信号,y表示输出信号,dconvj()表示多尺度卷积网本文档来自技高网...

【技术保护点】

1.一种基于混合神经网络的自动睡眠分期方法,包括如下步骤:

2.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述步骤(1)中以512Hz的采样频率对PSG数据进行采集,采集到的PSG数据包含有脑电信号、眼电信号、心电信号和肌电信号,其中脑电信号包含F4-M1、C4-M1、F3-M2、C3-M2、O1-M2、O2-M1共6个通道,眼电信号包含E1-M2和E2-M2共2个通道。

3.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述步骤(2)中从PSG数据中选取脑电信号和眼电信号用于训练和测试,由睡眠专家根据美国睡眠医学学会标准进行标注,即将信号每30s划分为一个epoch,将每个epoch归类至Wake、N1、N2、N3、REM五种不同的睡眠阶段;信号预处理包括了0.3Hz和35Hz的带通滤波、50Hz的尖峰滤波以及100Hz的重采样。

4.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述epoch编码器共有5层,前4层均采用多尺度卷积变压器网络,第5层由一个平均池化层、一个全连接层和一个GELU激活函数依次连接组成;多尺度卷积变压器网络由多尺度卷积网络和变压器网络连接组成,多尺度卷积网络用于学习epoch内不同尺度的显著波特征,变压器网络借助自注意力机制来学习epoch内部的全局特征。

5.根据权利要求4所述的自动睡眠分期方法,其特征在于:所述多尺度卷积网络的计算过程如下:

6.根据权利要求4所述的自动睡眠分期方法,其特征在于:所述变压器网络由多头自注意力机制层、正则化层L1、前馈神经网络F1、正则化层L2依次连接组成,其中正则化层L1的输入为多头自注意力机制层的输出与输入叠加而成,正则化层L2的输入为前馈神经网络F1的输出与输入叠加而成。

7.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述跨模态上下文编码器由联合注意力机制层、正则化层L3、前馈神经网络F2、正则化层L4依次连接组成,正则化层L4的输入为前馈神经网络F2的输出与输入叠加而成;在脑电信号分支中,联合注意力机制层的查询向量矩阵以Xo为输入,键向量矩阵以Xe为输入,值向量矩阵以Xe为输入,正则化层L3的输入为联合注意力机制层的输出与Xo叠加而成;在眼电信号分支中,联合注意力机制层的查询向量矩阵以Xe为输入,键向量矩阵以Xo为输入,值向量矩阵以Xo为输入,正则化层L3的输入为联合注意力机制层的输出与Xe叠加而成,Xe和Xo分别为脑电信号分支和眼电信号分支的epoch编码器输出特征。

8.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述序列编码器由基于多头自注意力机制层的变压器网络实现,其输入由两个分支的跨模态上下文特征以及epoch的位置编码叠加组成。

9.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述步骤(4)中在对模型进行训练之前,先对采集到的PSG数据进行受试者独立的10折交叉验证划分,所述10折交叉验证划分即将所有受试者平均地划分为10个团体,在每一折中轮流将其中1个团体作为测试集,其余9个团体作为训练集,同一个受试者的PSG数据不会同时出现在训练集和测试集中,同时需保证每一折都有相同数量的受试者。

10.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述步骤(4)中对模型进行训练过程中采用的损失函数如下:

...

【技术特征摘要】

1.一种基于混合神经网络的自动睡眠分期方法,包括如下步骤:

2.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述步骤(1)中以512hz的采样频率对psg数据进行采集,采集到的psg数据包含有脑电信号、眼电信号、心电信号和肌电信号,其中脑电信号包含f4-m1、c4-m1、f3-m2、c3-m2、o1-m2、o2-m1共6个通道,眼电信号包含e1-m2和e2-m2共2个通道。

3.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述步骤(2)中从psg数据中选取脑电信号和眼电信号用于训练和测试,由睡眠专家根据美国睡眠医学学会标准进行标注,即将信号每30s划分为一个epoch,将每个epoch归类至wake、n1、n2、n3、rem五种不同的睡眠阶段;信号预处理包括了0.3hz和35hz的带通滤波、50hz的尖峰滤波以及100hz的重采样。

4.根据权利要求1所述的自动睡眠分期方法,其特征在于:所述epoch编码器共有5层,前4层均采用多尺度卷积变压器网络,第5层由一个平均池化层、一个全连接层和一个gelu激活函数依次连接组成;多尺度卷积变压器网络由多尺度卷积网络和变压器网络连接组成,多尺度卷积网络用于学习epoch内不同尺度的显著波特征,变压器网络借助自注意力机制来学习epoch内部的全局特征。

5.根据权利要求4所述的自动睡眠分期方法,其特征在于:所述多尺度卷积网络的计算过程如下:

6.根据权利要求4所述的自动睡眠分期方法,其特征在于:所述变压器网络由多头自注意力机制层、正则化层l1、前馈神经网络f1、正则化层l2依次连接组成,其中正则化层l1的...

【专利技术属性】
技术研发人员:赵莎王跻权李石坚江海腾周杨煊余正和李涛潘纲
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1