基于多向时频卷积注意力与VM-UNet的EEG到三维fMRI体积生成方法技术

本发明专利技术公开了基于多向时频卷积注意力与VM‑UNet的EEG到三维fMRI体积生成方法，包括S1、对输入的EEG信号进行预处理，构建三维张量形式的EEG输入样本，将EEG和fMRI数据进行归一化处理；S2、利用EEG谱图投影模块，将EEG输入样本映射到高维特征空间，得到初始嵌入表示；S3、通过多向时频卷积注意力编码器对初始嵌入表示进行处理，得到多层次的融合全局特征表示，并调整为目标大小的特征图；S4、将调整后的特征图输入Vision‑MambaU‑Net解码器，进行多尺度解码和空间重建，生成三维fMRI体积；S5、采用联合损失函数对模型进行端到端训练，实现从EEG到三维fMRI体积的生成。本申请精准保留皮层褶皱、深灰结构精细解剖特征，大幅降低显存消耗与推理时间。

【技术实现步骤摘要】

本专利技术涉及神经成像，具体涉及基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法。

技术介绍

1、功能性核磁共振成像(fmri)凭借高空间分辨率的血氧水平依赖性(bold)信号，成为绘制人脑活动的核心工具，但其对低温基础设施、屏蔽环境和专业操作的严格要求，导致临床普及成本高昂且难以支持实时神经反馈与大规模纵向研究。例如，fmri设备的采购与维护费用高达数百万美元，且需专业技术人员操作，这使得资源有限的医疗机构和研究团队难以广泛应用。与此同时，脑电图(eeg)以其毫秒级时间分辨率、便携性和低成本优势(设备成本仅为fmri的千分之一至万分之一)，在实时监测和移动场景中表现出显著潜力。然而，eeg的空间分辨率局限于厘米级，无法直接提供fmri所具备的脑区激活细节，因此，如何从eeg信号中精准重建高分辨率fmri体积，成为突破神经成像技术应用瓶颈的关键挑战。

2、早期基于卷积神经网络(cnn)的方法(如“神经转码”模型)虽证明了跨模态映射的可行性，但单尺度卷积无法捕捉eeg信号中跨通道、跨频率的时频特征，导致模型对噪声和采集差异本文档来自技高网...

【技术保护点】

1.基于多向时频卷积注意力与VM-UNet的EEG到三维fMRI体积生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多向时频卷积注意力与VM-UNet的EEG到三维fMRI体积生成方法，其特征在于，所述S1中对输入的EEG信号进行预处理，具体为：

3.根据权利要求2所述的基于多向时频卷积注意力与VM-UNet的EEG到三维fMRI体积生成方法，其特征在于，所述对所有EEG和fMRI数据使用max-min归一化处理的，具体为：对EEG三维张量和fMRI三维容积图像分别计算各模态数据的最大值和最小值，对于EEG数据，遍历C个电极通道、T个时间窗口及F...

【技术特征摘要】

1.基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法，其特征在于，所述s1中对输入的eeg信号进行预处理，具体为：

3.根据权利要求2所述的基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法，其特征在于，所述对所有eeg和fmri数据使用max-min归一化处理的，具体为：对eeg三维张量和fmri三维容积图像分别计算各模态数据的最大值和最小值，对于eeg数据，遍历c个电极通道、t个时间窗口及f个频率维度的所有数据点，确定其最大值xmax和最小值xmin，通过公式xnormalized＝(x-xmin)t(xmax-xmin)将eeg数据映射到[0,1]区间；对于fmri数据，遍历d×h×w的所有体素点，确定其最大值ymax和最小值ymin，通过公式ynormalized＝(y-ymin)t(ymax-ymin)将fmri数据映射到[0,1]区间，实现统一数值标度。

4.根据权利要求1所述的基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法，其特征在于，所述利用eeg谱图投影模块，通过3×3卷积核和silu激活函数将eeg输入样本映射到高维特征空间、得到初始嵌入表示的步骤，将预处理后的eeg输入样本三维张量输入eeg谱图投影模块，采用包含3×3卷积核的卷积层对输入张量进行卷积运算，其中卷积层的通道数由输入eeg的通道数c转换为预设的高维特征通道数n，卷积过程中通过填充操作保持时间维度t和频率维度f的尺寸不变，卷积输出后接入silu激活函数，对卷积结果进行非线性变换，得到高维特征空间的初始嵌入表示

5.根据权利要求1或4所述的基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法，其特征在于，所述s3中通过多向时频卷积注意力编码器对初始嵌入表示进行处理，具体为：将初始嵌入表示输入多向时频卷积注意力编码器，先进行局部特征提取，将x'分别输入时间卷积路径、频率卷积路径和时频联合卷积路径，其中时间卷积路径采用3×1卷积核捕捉时间维度特征，频率卷积路径采用1×3卷积核捕捉频率维度特征，时频联合卷积路径采用3×3卷积核捕捉时频联合特征，三条路径输出沿通道维度串联后通过点向卷积融合，并通过残差连接与x'相加，经应用层归一化得到局部特征表示flocal；进行全局特征提取，将flocal输入多头自注意力模块捕捉跨时间和频率维度的长程依赖关系，输出经残差连接与flocal相加并层归一化后，采用1×3卷积核、步长2对频率维度降采样，重复两次上述编码过程，通过零填充将特征调整为目标大小，得到多层次融合的全局特征表示其中h、w为目标fmri图像的高度和宽度。

6.根据权利要求1或5所述的基于多向时频卷积注意力与vm-unet的eeg到三维fmri体积生成方法，其特征在于，所述s4中将调整后的特征图输入vision-mambau-net解码器，利用视觉状态空间块对特征图进行多尺度解码和空间重建，具体为：将调整后的特征图输入vision-mambau-net解码器，以视觉状态空间块vssblock替代传统卷积层，每个vssbloc...

【专利技术属性】
技术研发人员：姜彬，何东毅，闫河，李根，聂小珺，赵云，魏浩然，潘楠，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：