一种基于多模态信息融合的癫痫信号自动识别系统及方法技术方案

本发明专利技术提供一种基于多模态信息融合的癫痫信号自动识别系统及方法，所述脑电采集单元用于实时采集患者的EEG信号；所述视频采集单元用于同步采集患者的监控视频信号；所述数据预处理单元根据EEG信号和监控视频信号进行降噪处理，并将EEG信号和监控视频信号加入癫痫发作起止时间戳进行时序校准获得癫痫脑电数据和癫痫视频数据；所述多尺度卷积网络通过深度学习特征提取方法对癫痫脑电数据时域、频域、时频域与时空域特征结合获得癫痫脑电多特征向量；所述多级特征金字塔网络通过空间金字塔池化方法处理对癫痫视频数据获得癫痫视频多尺度特征；所述人体光流估计模块通过捕捉癫痫视频数据序列获得癫痫视频光流矢量；所述多模态特征融合模块采用多层感知机映射方法对癫痫脑电多特征向量、癫痫视频多尺度特征和视频光流矢量融合获得癫痫融合特征数据；所述癫痫信号分类模块通过多重注意力机制的双向长短期记忆网络对癫痫融合特征数据进行识别获得癫痫信号类别；所述癫痫数据自动识别模型优化模块采用交叉熵损失函数对癫痫信号自动识别模型进行训练；本发明专利技术充分利用了患者进行癫痫检测中的各项数据，采用不同维度的多模态信息捕捉癫痫信号的时空关联性，提高了系统的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及多模态智能医学信号处理的，尤其涉及一种基于多模态信息融合的癫痫信号自动识别系统及方法。

技术介绍

1、癫痫是由大脑神经元群突发性异常、超同步化放电导致大脑短暂性功能障碍的一种慢性神经系统疾病，其发作特征具有随机性、重复性和刻板性，给癫痫患者的生活和健康带来了严重的负担。根据世界卫生组织统计，全球癫痫患者的数量已超过5000万，其中儿童及青少年占比超过60％以上。癫痫不仅会导致患者身体和认知功能的突然失控，还可能引发精神健康问题，如焦虑或抑郁，甚至在极端情况下可能导致癫痫猝死。目前，对于癫痫的准确检测已成为神经科学领域研究的焦点，旨在提供更有效的诊断和治疗手段，以改善患者的生活质量。

2、癫痫及时准确的检测对于后续有效治疗至关重要。其中脑电图(electroencephalography，eeg)是一种常用的癫痫诊断技术，通过监测大脑神经元的电生理活动，提供了深入了解神经系统功能的窗口。然而，常规脑电图检测时间较短，难以捕捉到痫性放电或临床发作。相比之下，视频脑电图则可以对患者的脑电和临床状况进行长期同步检测，更容易捕捉到癫痫患者的本文档来自技高网...

【技术保护点】

1.一种基于多模态信息融合的癫痫信号自动识别系统，其特征在于：所述癫痫信号自动识别系统包括数据获取单元、数据预处理单元、癫痫信号自动识别模型和癫痫信号自动识别模型优化单元；所述数据获取单元由脑电采集模块和视频采集模块构成；所述数据预处理单元由脑电预处理模块和视频预处理模块构成；所述癫痫信号自动识别模型包括多级特征提取模块、人体光流估计模块、多模态特征融合模块和癫痫信号分类模块；所述多级特征提取模块由多级特征金字塔网络与多尺度卷积网络构成；其中:

2.根据权利要求1所述一种基于多模态信息融合的癫痫信号自动识别系统，其特征在于，所述多级特征金字塔网络通过空间金字塔池化方法对癫痫视...

【技术特征摘要】

1.一种基于多模态信息融合的癫痫信号自动识别系统，其特征在于：所述癫痫信号自动识别系统包括数据获取单元、数据预处理单元、癫痫信号自动识别模型和癫痫信号自动识别模型优化单元；所述数据获取单元由脑电采集模块和视频采集模块构成；所述数据预处理单元由脑电预处理模块和视频预处理模块构成；所述癫痫信号自动识别模型包括多级特征提取模块、人体光流估计模块、多模态特征融合模块和癫痫信号分类模块；所述多级特征提取模块由多级特征金字塔网络与多尺度卷积网络构成；其中:

2.根据权利要求1所述一种基于多模态信息融合的癫痫信号自动识别系统，其特征在于，所述多级特征金字塔网络通过空间金字塔池化方法对癫痫视频数据处理获得癫痫视频多尺度特征过程；包括：

3.根据权利要求1所述的一种基于多模态信息融合的癫痫信号自动识别系统，其特征在于，所述人体光流估计模块通过捕捉癫痫视频数据序列获得癫痫视频光流矢量过程；包括：

4.根据权利要求1所...

【专利技术属性】
技术研发人员：刘爽，洪亭轩，明东，刘佳镕，蔡梓良，常远，
申请(专利权)人：天津大学，
类型：发明
国别省市：