基于多模态神经影像与深度学习的短时记忆判别方法技术

本发明专利技术公开了基于多模态神经影像与深度学习的短时记忆判别方法，包括以下步骤：S1、同步EEG‑fMRI设备，采集静息态和记忆任务中的脑电信号与BOLD信号；S2、对S1步骤采集的数据进行预处理；S3、通过卷积神经网络提取EEG和fMRI的特征数据；S4、通过位置编码和注意力机制加权融合EEG和fMRI的特征数据，生成联合特征向量；S5、基于ELM算法对联合特征向量进行分类，输出记忆状态判别结果。本发明专利技术的有益效果是：通过采集并融合得到的fMRI与EEG数据，结合CNN与ELM算法实现高精度记忆状态分类，与行为学结果做相关分析，用神经影像数据判别短时记忆特征信号，同时解析记忆编码与巩固的神经机制。

【技术实现步骤摘要】

本专利技术涉及脑科学与人工智能，特别是基于多模态神经影像与深度学习的短时记忆判别方法。

技术介绍

1、目前，在短时记忆判别上，主要通过单一模态如仅eeg或fmri进行，难以兼顾高时空分辨率，导致短时记忆特征提取不全面。而传统分析方法无法实时处理多模态数据，且缺乏对记忆编码、巩固阶段的动态追踪，并且现有记忆评估依赖行为学指标，缺乏神经生理层面的客观信号反馈。

技术实现思路

1、本专利技术的目的在于提供基于多模态神经影像与深度学习的短时记忆判别方法，通过实时整合eeg与fmri数据，结合深度学习与elm算法，实现短时记忆特征信号的动态检测与输出，并揭示记忆编码、巩固阶段的神经机制。

2、本专利技术的目的通过以下技术方案来实现：

3、基于多模态神经影像与深度学习的短时记忆判别方法，包括以下步骤：

4、s1、同步eeg-fmri设备，采集静息态和记忆任务中的脑电信号与bold信号；

5、s2、对s1步骤采集的数据进行预处理；

6、s3、通过卷积神经网络提取e本文档来自技高网...

【技术保护点】

1.基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：所述数据预处理包括EEG信号预处理和fMRI信号预处理；

3.根据权利要求1所述的基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：所述S3步骤中，EEG的特征数据包括：θ波的时频域特征和γ波功率的时频域特征；

4.根据权利要求1所述的基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：所述卷积神经网络为深度可分离卷积神经网络，所述可分离卷积神经网络包括深度卷积和逐点卷积；...

【技术特征摘要】

1.基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：所述数据预处理包括eeg信号预处理和fmri信号预处理；

3.根据权利要求1所述的基于多模态神经影像与深度学习的短时记忆判别方法，其特征在于：所述s3步骤中，eeg的特征数据包括：θ波的时频域特征和γ波功率的...

【专利技术属性】
技术研发人员：臧玉峰，韩羽，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：