一种基于脑电信号的结合最优传输的视觉场景重建方法技术

本发明专利技术属于脑电图(EEG)信号处理与计算机视觉技术领域，提出一种基于脑电信号并结合最优传输理论的视觉场景重建方法。该方法通过以下步骤实现：首先，利用预训练的掩蔽自编码器(MAE)获取脑电信号的时空特征，同时使用快速傅里叶变换(FFT)和长短期记忆网络(LSTM)提取频域特征，融合这两类特征形成时空频协同特征表示。接着，通过特征对齐方法将脑电信号特征与真实图像嵌入特征对齐，并借助最优传输理论优化生成特征分布。最终，结合多头注意力机制的扩散模型和预训练解码器生成高分辨率图像。此方法在提取脑电信号有效信息及提升生成图像细节保真度方面表现优异，适用于神经科学研究、脑机接口、视觉感知等多个领域。

【技术实现步骤摘要】

本专利技术涉及脑电图和计算机，具体为一种基于脑电信号的结合最优传输理论的视觉场景重建方法。

技术介绍

1、基于脑电信号的视觉场景重建技术主要应用于神经科学和计算机视觉领域，为失语者表达思想和情感提供了的新方式，帮助他们提高独立性和自理能力。失语者由于语言功能受损，无法便捷的表达自己的想法，而该技术则能直接通过分析脑电图(electroencephalography，eeg)将“思想”转化为可视化的图像，实现视觉场景重建。脑电信号与深度学习结合，也为研究神经活动与视觉感知的关系提供了重要途径，具有广泛的应用前景。

2、尽管基于扩散模型在基于脑电图的视觉场景重建中取得了较好的结果，但仍存在各种问题阻碍了生成图像的质量。首先，目前一些方法在提取脑电信号的有效表征时主要关注于时空特征，而缺少对脑电信号频域方面的特征进行提取。因而有必要建立有效的模型，同时关注时空和频域的特征，这样可以使得所提取的特征涵盖更多的信息，可以更好的表示大脑的相关活动，为生成图片等下游任务做好充足的准备。

3、以往的研究主要基于传统的扩散模型，传统隐层扩散模型(la本文档来自技高网...

【技术保护点】

1.一种基于脑电信号的结合最优传输的视觉场景重建方法，其特征在于，所述方法至少包括：

2.根据权利要求1所述的基于脑电信号的结合最优传输的视觉场景重建方法，其特征在于：所述步骤(1)中，特征提取配置为通过掩蔽自编码器提取脑电信号的时空特征；对EEG信号进行频域变换，使用快速傅里叶变换和长短期记忆网络提取频域特征；将所述时空特征和频域特征融合形成时空频协同特征表示。

3.根据权利要求1所述的基于脑电信号的结合最优传输的视觉场景重建方法，其特征在于：所述步骤(2)中，特征对齐配置为使用对比学习模型获取真实图像的嵌入表示，并通过投影矩阵将时空频协同特征转换为与图像嵌入相...

【技术特征摘要】

1.一种基于脑电信号的结合最优传输的视觉场景重建方法，其特征在于，所述方法至少包括：

2.根据权利要求1所述的基于脑电信号的结合最优传输的视觉场景重建方法，其特征在于：所述步骤(1)中，特征提取配置为通过掩蔽自编码器提取脑电信号的时空特征；对eeg信号进行频域变换，使用快速傅里叶变换和长短期记忆网络提取频域特征；将所述时空特征和频域特征融合形成时空频协同特征表示。

3.根据权利要求1所述的基于脑电信号的结合最优传输的视觉场景重建方法，其特征在于：所述步骤(2)中，特征对齐配置为使用对比学习模型获取真实图像的嵌入表示，并通过投影矩阵将时空频协同特征转换为与图像嵌入相同尺度的嵌入表示；通过余弦相似度训练所述投影矩阵参数,余弦相似度计算公式为：使脑电信号嵌入特征在对齐的特征空间中更加接近真实图像嵌入特征。...

【专利技术属性】
技术研发人员：林承德，周齐鹏，蒋海燕，杨乐，李湜，莫程俊，吕启炫，龚雪竹，杨明哲，
申请(专利权)人：南宁桂电电子科技研究院有限公司，
类型：发明
国别省市：